La grande église Saint-Alphonse de Baltimore, construite sur le modèle de la cathédrale de Vienne, fut celle de la communauté allemande avant de devenir celle de la communauté lituanienne. Saint John Neumann (canonisé en 1977) en fut le desservant, et il y fut sacré évêque de Philadelphie, laissant la paroisse à son bras droit Francis Xavier Seelos, béatifié en 2000. Depuis 2014 c’est le « sanctuaire national de Saint Alphonse de Liguori ».
Elle est aussi devenue un lieu de culte où est célébrée la messe traditionnelle depuis 1992, par la volonté de son desservant Mgr Arthur Bastress, avec trois messes par semaine dont une le dimanche à 11h30.
Mgr Arthur Bastress, 90 ans, a décidé de se retirer. Au profit de la… Fraternité Saint Pierre. Par décision de l’archevêque de Baltimore Mgr William E. Lori, est créée une paroisse personnelle, dont le curé est l’abbé Joel Kiefer (qui desservait jusqu’ici la paroisse personnelle des Martyrs d’Amérique du Nord créée à Seattle par l’archevêque Mgr Brunett).