Jadis appelé Pont Christ, cet ouvrage est l’un des rares ponts habités conservés en France avec ceux de Landerneau et de Narbonne. La spécificité de cette construction réside en effet dans sa double fonction, à la fois d’habitation et de circulation.
Situé en fond de ria et au carrefour de plusieurs voies, Pont-l’Abbé fut un lieu de passage obligé et favorable à l’émergence d’une ville. Vers le 12e siècle, les seigneurs du château et, dit-on, les abbés de Loctudy décidèrent d’édifier un premier pont, à l’emplacement du pont actuel. Cette construction eut une telle incidence qu’elle donna son nom à la ville. A la fois barrage et pont, il était utilisé par les marchands, les voyageurs et les pèlerins. Il assurait également la liaison entre le quartier de Lambour et le centre-ville.
Le pont exploitait l’énergie hydraulique grâce à l’implantation de deux moulins à marées (qui appartenaient l’un au seigneur, l’autre aux Carmes), remplacés en 1850 par l’une des plus grandes minoteries de France. C’est à cet endroit que l’entreprise familiale de broderie Le Minor s’est développée à partir de 1936. Les autres bâtiments ont été restaurés et reconvertis en logements et en commerces.