Le récit est composé de cinq livres, essentiellement consacrés aux principaux personnages (&
laquo; Anthime
Armand-Dubois &
raquo;, &
laquo; Julius de Baraglioul », « Amédée Fleurissoire », « Le Mille-Pattes », « Lafcadio »). L’action se situe en « l’an 1890, sous le pontificat de Léon XIII ». Le franc-maçon Anthime Armand-Dubois, guéri par miracle, se convertit au catholicisme, tandis que son beau-frère, l’écrivain catholique Julius de Baraglioul, traverse une période de doute et de révolte. Un jeune roumain, Lafcadio, apprend le même jour qu’il appartient à la famille des Baraglioul et rencontre la fille de Julius, Geneviève. Pendant ce temps, un faux prêtre lance une rumeur selon laquelle le pape a été remplacé par un sosie et se trouve prisonnier des francs-maçons dans les caves du Vatican. Il espère ainsi récupérer le montant de la rançon que lui transmettent les bons chrétiens. Un de ses principaux complices est un ancien camarade de classe de Lafcadio, Protos, personnage néfaste qui a eu sur lui une mauvaise influence. L’autre beau-frère de Julius, Amédée Fleurissoire, part en croisade à Rome, tombe dans les griffes de Protos, puis se fait jeter d’un train par Lafcadio qui entend réaliser un crime absurde et parfait. N’ayant pas trouvé la satisfaction qu’il espérait et refusant de se rallier à Protos, il tente d’oublier ses remords auprès de Geneviève.
La critique retrouve dans les Caves du Vatican la tradition du roman d’aventures, mais détournée. Le récit, pourtant fondé sur un référent réel, refuse en effet toute construction linéaire, privilégiant le collage : les intrigues, qui n’en sont pas vraiment, se croisent et comportent de faux épilogues. Le narrateur fait de surcroît constamment irruption pour démonter l’illusion romanesque. Le fonctionnement romanesque est en fait « contaminé » par les lois du conte (fantaisie des enchaînements et des coïncidences, intervention du miracle…).
Le sujet se veut proche de la farce, il s’agit de faire rire, et d’un rire libérateur. Mais l’ouvrage permet aussi à Gide d’inscrire son athéisme et son anticléricalisme dans la tradition métaphysique de la mort de Dieu, propre au xixe siècle, et de faire état d’une crise des valeurs et de l’expérience d’une impasse. Il se situe au-delà de la morale dans son interrogation sur le crime, fortement influencée par Dostoïevski : il n’y a aucune raison pour supposer criminel celui qui n’a pas de motivation. Gide est fasciné par l’inexplicable en psychologie, ces actes brusques que rien ne semble annoncer ni motiver. Il pose les problèmes de l’essence des êtres à travers une série de personnages sans consistance qui n’existent que dans leur relation à autrui, à l’exception de Lafcadio double du Nathanaël des Nourritures terrestres , incarnant la liberté et la sincérité. Il réalise l’acte gratuit du Prométhée, qui, s’il s’avère ne mener nulle part (contrairement à ses espérances), ne le fait pas pour autant sombrer dans le désespoir.