Historiquement, Gouzon est une ancienne enclave du Bourbonnais. Tous les Creusois connaissent Gouzon pour son fromage de vache à la texture serrée et au goût de terroir développé. C’est vrai que la richesse de la végétation sert aussi de repère pour la nidification des oiseaux et de halte lors des passages des oiseaux migrateurs. L’église du XIIIe siècle possède deux beaux portails et un clocher fait en bardeaux de châtaignier.
Aux Forges, la petite église est à signaler : des peintures du IXe siècle ont été mises au jour. Il s’agit d’œuvres sur enduit de sable et de chaux, parmi les plus anciennes de France, représentant un oiseau et des motifs géométriques et floraux.