Alors qu’il était moine en l’abbaye de Saint-Gildas de Rhuys, l’abbé envoya saint Goustan à Beauvoir-sur-Mer, en Vendée. Goustan s’embarqua, mais une terrible tempête le rejeta sur le rivage au Croisic. Il s’agrippa à un rocher, et Dieu permit que ce rocher s’amollît pour prendre la forme du moine et lui permettre de se reposer. Un vitrail de l'église du Croisic le montre rendant grâce après ce naufrage.
Dès le XIe siècle une chapelle fut construite en ce lieu, l’autel au-dessus du rocher en question. Saint Goustan étant le protecteur des marins, les femmes de pêcheurs accouraient à la chapelle de toute la presqu’île quand il y avait une tempête pour prier saint Goustan. A la Révolution française elle servit de réserve de poudre à canon.
Dans le premier classement des monuments historiques en 1840 (liste Mérimée) il y a une « église Saint-Goustan » au Croisic. Il s’agit a priori de la chapelle Saint-Goustan telle qu’elle existait à l’époque. A la fin du XIXe siècle, un certain Armand Maillard de la Morandais (comme le prêtre politico-médiatique prénommé Alain, né… au Croisic), achète les terrains militaires autour de la chapelle, dont les dunes, construit des viviers et un grand manoir et reconstruit la chapelle (avant d’être ruiné et de revendre le tout).
Le tombeau de saint Goustan se trouve dans l’abbatiale de Saint-Gildas de Rhuys, qui est un des relativement rares exemples de l’architecture romane en Bretagne:
Le dernier dimanche de novembre, c’est la fête de saint Goustan à Hoedic, l’île où le moine vécut un certain temps.