Situé le long de la voie romaine qui reliait Lyon à Besançon, Rosay dépend au Moyen Âge de Coligny et de sa " grande sirerie du Revermont ". Il passe, en 1294, sous la suzeraineté des Chalon-Auxerre. Perché sur son piton rocheux, le château joue alors un rôle important. Il est aussi le théâtre des exploits de Lacuzon pendant les incursions françaises en Franche-Comté. S'il échappe à la destruction lors des différentes guerres, il est saccagé pendant la Révolution par les habitants du village eux-mêmes. Pillé, il est ensuite démantelé, les locaux se servant de ses pierres. Il appartient aujourd'hui à un passionné qui l'a complètement restauré.