Ce sont les Bénédictins de l'abbaye de Vabres qui ont colonisé ce village et qui l'ont fortifié. Les moines y construisent un château au XVe siècle, ce qui permet aux habitations de se développer concentriquement autour de l'édifice. Les évêques y trouvent un solide refuge et décident de le prendre en tant que résidence d'été. De 1362 à 1370, cette partie du Rouergue est cédée aux Anglais, aussi le château doit-il abriter une garnison anglaise. Durant les guerres de Religion, monseigneur François de la Valette-Cornusson se réfugie dans le château et y reste. C'est à Saint-Izaire qu'est né l'abbé Mermet qui découvrit les fameuses statues menhir.