Les corps des martyrs Nazaire et Celse étaient ensevelis dans un jardin hors de Milan, quand, en 395, ils furent retrouvés par saint Ambroise. On découvrit d’abord le cadavre de Nazaire, parfaitement conservé ; la tête était détachée du buste et le sang était vermeil et frais comme s’il venait d’être versé.
Après avoir déposé les restes du martyr sur une litière, saint Ambroise alla prier dans une autre partie du jardin où l’on creusa immédiatement. Le corps du petit Celse apparut ; plus tard les Actes le mirent en relation avec Nazaire et en firent même son disciple.
Le corps de saint Nazaire fut transféré par Ambroise dans la nouvelle basilique des Apôtres, appelée aussi Romaine, et Dieu l’y honora immédiatement par la délivrance instantanée d’un énergumène.
Il semble que le corps de saint Celse ait été laissé par Ambroise au lieu où il fut retrouvé ; il est certain qu’il ne fut pas transporté à la basilique Romaine. Cependant en son honneur on éleva plus tard une basilique in campo à côté de laquelle, au XIe siècle, l’archevêque Landolphe fonda aussi un monastère.
De Milan, le culte des deux martyrs se répandit vite dans tout le monde romain du Bas-Empire. Pour abriter convenablement une parcelle de leurs reliques, Constantinople, peut-être dès le temps d’Honorius et d’Arcadius, éleva un temple dédié à saint Nazaire.
Comme il le chante lui-même dans son XXIVe poème, saint Paulin de Nole déposa les reliques de saint Nazaire dans la basilique de Saint-Félix.
Saint Gaudence fit de même à Brescia ; Galla Placidia érigea aux saints Nazaire et Celse une chapelle à Ravenne, et enfin le pape Symmaque envoya aussi des reliques de Nazaire aux évêques africains relégués en Sardaigne.