A la fin du XIX^e siècle, Viollet-le-Duc aurait hésité entre Pierrefonds dans l'Oise et Lavardin dans ses velléités de restauration de château féodal. L'architecte a finalement choisi Pierrefonds. Lavardin a pris sa revanche depuis, par son classement parmi les plus beaux villages de France. Il faut voir les vestiges de son château médiéval dominant le petit village de toits en ardoises niché sur un coteau crayeux, relié à d'autres terres grâce à son pont gothique de 56 m, son église romane, ses maisons Renaissance à chaque coin de rue. Le musée situé sous la mairie donne un aperçu du riche patrimoine lié au château et permet de découvrir l'histoire du village.