L’église et son couvent furent édifiés en 1383 par le seigneur Hervé IV du Pont et sa femme Péronnelle de Rochefort pour y installer une communauté de Carmes. Remarquable par la sobriété de son architecture, spécifique de cet ordre, elle présente au chevet une rose exceptionnelle d’un diamètre de 7,70 mètres. Celle-ci est décorée en son centre des armes de la famille du Pont, à savoir un lion de gueules (rouge) sur fond d’or. Les personnages symboliques de la spiritualité carme sont représentés en partie basse.
Le couvent supprimé à la Révolution fut vendu comme bien national. Après avoir été propriété privée, les bâtiments conventuels devinrent école publique de garçons en 1881. Les édifices anciens furent démolis entre 1900 et 1950. L’ensemble comportait également un beau cloître du 15e siècle qui orne aujourd’hui une cour du lycée Chaptal, ancien grand Séminaire de Quimper.
Le clocher, situé derrière l’église, présente une forme très particulière. Construit en 1604, il est surmonté d’un dôme d’ardoises à deux étages, remarquable par l’importance de ses abat-sons.
