Le château de Pont-l’Abbé était destiné à surveiller le pont qui a donné son nom à un puissant lignage féodal, les seigneurs du Pont, devenus barons en 1493. La ville était un bourg castral, une de ces nombreuses agglomérations nées aux 11e et 12e siècles auprès d’une forteresse. Il ne reste de cette dernière que la tour Est élevée au 15e siècle ainsi qu’un corps de logis reconstruit au 18e siècle sur les sous-sols médiévaux toujours existants. Tous les autres bâtiments (dépendances, communs, chapelle, les deux murailles, pont-levis) ont disparu, notamment au 19e siècle du fait de l’urbanisation.
La forteresse a connu quelques épisodes militaires. Elle a été assiégée lors des guerres de religion en 1590 et dévastée par des paysans révoltés, lors de la révolte des Bonnets Rouges, en 1675. Le logis ruiné a été restauré au 18e siècle. Le château, confisqué et vendu lors de la Révolution, a été acquis par la municipalité en 1836. L’installation de la mairie, d’un tribunal, d’une gendarmerie et d’une école a permis la préservation des derniers vestiges de la place forte. Le bâtiment abrite aujourd’hui l’hôtel de ville et le Musée Bigouden.