Le village de Sag Harbor est un lieu historique puisque son occupation était déjà le fait de la tribu autochtone des Algonquins. La première caserne de pompiers de l'Etat de New York fut installée ici. Jusque dans les années 1850, la communauté de Sag Harbor était essentiellement composée de baleiniers. Aujourd'hui, c'est toujours un village de pêcheurs au bord de l'océan qui possède plusieurs sites historiques, comme la jolie Umbrella House, plus vieille maison de la ville, l'Old Whaler's Church, la résidence d'été du président Chester A. Arthur (1881-1885) ou encore la bâtisse à colonnades du Sag Harbor Whaling & Historical Museum (fermé en hiver).