Cet édifice plutôt étonnant dans le paysage de Damgan a connu de nombreuses péripéties quant à son inscription à l’inventaire des Monuments historiques qui a finalement eu lieu le 22 octobre 1977. On suppose que la tour a été érigée sous le règne de François Ier entre 1442 et 1450 pour protéger les côtes de l’envahisseur anglais. Elle a changé plusieurs fois de nom s'appelant "tour à tour" tour blanche puis tour de Pénerf.
