Le pape Saint Soter mourut martyr en 175. Le pape saint Caius (ou plutôt Gaius) ne fut pas martyr, semble-t-il, bien qu’il vécût sous Dioclétien dont il était un parent (ils étaient tous deux du lieu qui est devenu Split, en Croatie) : il mourut en 296, avant la persécution.
Selon la Passion de sainte Suzanne (la Suzanne martyre romaine), celle-ci était la fille du prêtre saint Gabin, frère du pape Caïus. De fait, selon les Actes des martyrs, la maison de Caius, dont on fit une église, jouxtait celle de Gabin, dont on fit également une église : Sainte-Suzanne-aux-Thermes-de-Dioclétien. L’église de saint Caius fut célèbre, et Urbain VIII la reconstruisit (c’était celle de la « station » papale de ce jour), mais elle a disparu au XIXe siècle.
Caius avait été enterré au cimetière de Callixte. Giovanni Battista de Rossi, qui avait découvert la crypte des papes en 1854, découvrit également la sépulture de Caïus, qui était à part, avec un fragment de son épitaphe :
On lit d’abord Gaïou Episcopou (de Gaïus évêque), puis à la troisième ligne « pro I kal maion » : [le 10e jour] avant le Ier des calendes de mai.
Cette épitaphe est, en 296, la dernière épitaphe romaine qui soit en grec (mais avec le nom latin du mois…).