Le château du Val-aux-Grès est un lieu chargé d'histoire, puisqu'il a été construit au XIIe siècle pour accueillir les lépreux : c'était alors le prieuré de Saint-Jacques-du-Val-aux-Grès, appelé aussi « Val aux malades » ou « Abbaye Notre-Dame de Bolbec ». Les années ont passé, avec leur lot de vicissitudes, et en 1752, le château est restauré pour traverser de nouveaux siècles avec un nouveau visage. Exception faite de l’église, les anciens bâtiments claustraux sont démolis, et des constructions en briques et pierres blanches, avec des soubassements en grès, sont édifiées à la place. La ville de Bolbec acquiert le château après la Seconde Guerre mondiale et y présente en temps normal des expositions et manifestations culturelles. Le parc est ouvert au public tous les jours.