Le village s'est fortifié à l'époque médiévale et a gardé de nombreux vestiges et remparts. Mais ce n'est qu'au milieu du XIIe siècle, en 1153, qu'apparaît le toponyme Castelletum désignant le village actuel. On y accède par deux portes fortifiées : le Grand Portail, au sud, surmonté d'un blason et où les vestiges de son appareil de défense sont encore visibles, et le Portalet, à l'est. Au sommet du village se dresse l'ancien château, occupé en partie depuis 1969 par l'hôtel de ville. À l'ouest du château, l'église Saint-Sauveur, construite au XIIe siècle, possède des embrasures en forme de créneaux. Marcel Pagnol y tourna La Femme du boulanger.