Le bréviaire romain dit ceci :
« Silvère, né en Campanie, fut le successeur d'Agapit dans le pontificat. Il fit briller sa doctrine et sa sainteté dans la poursuite des hérétiques, et sa force d'âme apparut tout entière dans la manière dont il maintint le jugement d'Agapit. Malgré les instances réitérées de l'impératrice Theodora, il se refusa à rétablir Anthime qu'Agapit avait déposé de l'évêché de Constantinople comme fauteur de l'hérésie eutychienne. Rendue furieuse, Theodora manda à Bélisaire d'envoyer Silvère en exil. L'île Pontia fut le lieu de son bannissement. On rapporte qu'il écrivait de là en ces termes à l'évêque Amator : Je vis d'un pain de tribulation et d'une eau d'angoisse ; et cependant, je n'ai point abandonné, je n'abandonne point ma charge. Bientôt, en effet, usé de chagrins et de souffrances, il s'endormit dans le Seigneur le douze des calendes de juillet. Son corps, porté à Rome et déposé dans la basilique Vaticane, a été illustré par de nombreux miracles. Il fut trois ans et plus à la tête de l'Eglise ; il créa, au mois de décembre, treize prêtres, cinq diacres et dix-neuf évêques pour divers lieux. »
On lit dans la Vie des saints de l’abbé Jaud que Silvère fut d’abord envoyé en exil à Patare, en Asie.
« L'évêque de Patare le reçut d'une manière fort honorable et prit hardiment sa défense à la cour de Constantinople; il menaça le faible empereur Justinien des jugements de Dieu, s'il ne réparait le scandale: "Il y a plusieurs rois dans le monde, lui dit-il, mais il n'y a qu'un Pape dans l'univers." Ces paroles, dans la bouche d'un évêque d'Orient, montrent bien que la suprématie du siège de Rome était reconnue partout. Justinien, trompé jusqu'alors, se rendit aux observations de l'évêque, et peu après, malgré l'impératrice, Silvère revint en Italie; mais bientôt de nouvelles intrigues le conduisirent dans l'île déserte de Pontia, où il subit un second exil plus rigoureux que le premier. »