Ce village médiéval de 650 habitants vaut une escale pour la richesse de son patrimoine. Classé au nombre des Plus Beaux Villages et des sites clunisiens de France, c'était l'ancienne capitale du Brionnais. Il abrite le plus vieux château fort encore érigé en Bourgogne, le château Saint-Hugues (X^e siècle). Cette place forte abrita en son temps ascendants et descendants des plus nobles familles de Bourgogne, de France et d'Europe. Vous saurez tout des alliances, des faits religieux, des meurtres et des manigances de ces familles nobles lors des visites guidées organisées par l'association Les Vieilles Pierres. En été, des visites nocturnes commentées sont programmées.
Remarquable également, la Collégiale Saint-Hilaire construite au XIIe siècle et classée aux monuments historiques depuis 1862. Surmontée d'un clocher octogonal, dotée de trois absidioles, elle est posée, trapue, en bordure de place. Sur le linteau, l'histoire de Saint-Hilaire, évêque de Poitiers, se présente comme une bande dessinée.

Les soeurs apostoliques de Saint-Jean tiennent l'hôtellerie Saint-Joseph au Prieuré de Saint-Hugues où l'on peut également se faire servir des repas dans la mesure des possibilités. Moins spirituelle, l'auberge de l'Entrecôte Brionnaise, voisine du château, propose sa grande table d'hôtes. Dès qu'il fait beau, on s'installe sur la terrasse face au château.

Pour rejoindre Semur-en-Brionnais, vous mouillez au port de plaisance de Chambilly, au milieu du village, à égale distance de Roanne et de Digoin. Ici le canal borde la Loire et vous pouvez rejoindre en vélo le circuit du chemin de halage.