Saint-Ybars domine la vallée de la Lèze. Il s'agit d'un ancien lieu de peuplement gallo-romain devenu, au Moyen Âge, la petite cité Villa Sancti-Eparcii, en l'honneur de saint Eparche. Une statue de ce dernier, en pierre polychrome du XV^e siècle, figure au-dessus de l'église, mêlant les styles de l'art roman et gothique. L'église fut fortifiée au XIII^e siècle, son ancien donjon carré fut remplacé par un clocher hexagonal, identique à celui des Augustins de Toulouse en 1527. La dernière tour de l'ancien château de Saint-Ybars, construit au XIII^e siècle par Roger IV, a disparu en 1842 et ses pierres ont servi à l'édification de l'actuelle mairie.