Le château s'est accroché sur un promontoire qui domine la vallée de la Muze. Ce poste d'observation facilement défendable avait été choisi par le comte de Toulouse qui y construisit une maison forte au X^e siècle. Son nom de Castelnau de Lévezou se transforma en Castelnau Pégayrols, comme le nom de la famille qui l'acheta au XVIII^e siècle. Il est aujourd'hui encore une propriété privée. L'ensemble du village vaut le coup d'oeil ; il s'est construit serré autour du château, ne ménageant que d'étroites ruelles entre les maisons de pierre brune ou grise. Sur la place centrale, l'église Saint-Martin a été édifiée au XI^e siècle, pour abriter un prieuré massif, dominé par un tour-clocher. Elle est ornée d'un retable de style flamboyant. La visite descend jusqu'à la crique, puis on ressort et on se dirige vers l'église Notre-Dame, construction romane, qui a conservé des fresques du XVII^e siècle. Les visites du village organisées en été, ou sur demande, font découvrir un système d'adduction d'eau datant du XII^e siècle. En somme, 5 monuments historiques à visiter, un système hydraulique unique au monde. Un lieu hors du temps.