Les origines de la vieille cité de Villemur sont attestées dès le XIe siècle. La ville fortifiée s’était installée sur la rive droite du Tarn sur un site particulièrement propice à sa défense avec, comme enceintes naturelles, la rivière au sud, un profond ravin à l’est, une autre gorge au profil en V à l’ouest, et un château au nord.