Saint Silvestre à Grottafucile, d’après la Vita d’Andrea di Giacomo de Fabriano.
Vers 1227, Sylvestre, devant encore faire face à l’opposition de l’évêque et considérant «la vanité et la brièveté de la vie humaine», quitta Osimo et se retira en vie solitaire dans les falaises de la gorge de la Rossa à Serra San Quirico (province d’Ancône). Le site, qui est à environ 17 km de Fabriano, était la propriété du noble Corrado, qui à peine vit l’ermite le reconnut, «puisqu’il l’avait rencontré à la curie du marquis, engagé à défendre vigoureusement les droits» de l'Eglise d'Osimo. Sylvestre a vécu dans trois grottes différentes: la troisième est définitivement identifiée avec Grottafucile, où l'homme de Dieu a conduit une vie de dure pénitence et de prière assidue, souvent ne se nourrissant que d’herbes crues (Vita, chap. 3).
Sylvestre ne reste pas longtemps méconnu dans la solitude: lui rendirent visite les membres de plusieurs communautés religieuses, qui admiraient ses vertus et cherchèrent à «l’attirer à leur Ordre». L'ermite refusa de telles «invitations», mais «depuis lors» il commença «à réfléchir sérieusement quelle forme de vie religieuse» lui convenait «embrasser». Après une réflexion approfondie, Sylvestre choisît la Règle de saint Benoît de Nursie, c’est-à-dire l'une des règles canoniquement approuvées avant le quatrième Concile de Latran de 1215, qui, dans la constitution 13, avait interdit la création de «nouveaux Ordres». Sylvestre fut revêtu de l’habit monastique par le moine Pierre Magone: «Ainsi, enlevé l'ancien habit ecclésiastique et reçu l'humble habit monacal, humblement il se soumit au joug de la règle monastique et comme un athlète de Dieu entra dans le champ de bataille pour y combattre avec persévérance» (Vita, chap. 4). La Vita ne spécifie pas quand et où cela eut lieu: probablement dans une des abbayes du territoire.
En 1228, «deux religieux prudents et sages» (ce sont les Dominicains frère Richard et frère Bonaparte), envoyés par le pape Grégoire IX «dans la Marca pour une visite canonique au clergé» se rendirent aussi chez Sylvestre, l’exhortant à ne pas «vivre seul» dans ce lieu solitaire. L'homme de Dieu accepta la suggestion et accueillit à Grottafucile le premier disciple, Philippe de Recanati, qui lui fut envoyé par deux visiteurs (Vita, chap. 5). D'autres, désireux d'embrasser l’idéal anachorétique, suivirent l'exemple de Philippe et se mirent sous la direction spirituelle de l'homme de Dieu, vivant dans des grottes séparées. Plus tard à Grottafucile Sylvestre construisit un petit ermitage en l'honneur de la Bienheureuse Vierge Marie (le plus ancien titre attribué au fondateur dans les actes notariaux est celui de «prieur de l’ermitage de Grottafucile»). Cependant, puisque le lieu était étroit et inaccessible et inadapté pour accueillir le nombre croissant de disciples, Sylvestre commença «à construire des monastères», en choisissant dans la plupart des cas des «milieux retirés, solitaires, en préférence des villes» (Vita, chap. 6).
Le deuxième «lieu» fondé par Sylvestre est Montefano. Le 1er juin 1231 quelques hommes de Fabriano donnèrent à Sylvestre six hectares de terrain boisé (env. 2640 m 2) sur les pentes du Mont Fano, autour de la Source Vembrici, une source d'eau qui existe encore aujourd’hui, où l'homme de Dieu construisit une ermitage avec un oratoire dédié à Saint Benoît de Nursie. Le titre actuel de «San Sylvestre» remplaça le précédent à partir de la moitié du XVIe siècle.