Woodbury possède un joli centre historique, où l'on peut voir plusieurs bâtiments datant des XVIII^e et XIX^e siècles. Parmi les points d'intérêt de la ville, on retient surtout le Glebe House Museum, où fut fondé le mouvement de l'église épiscopale aux Etats-Unis. Woodbury s'étend autour de Main Street, sa rue principale le long de laquelle s'alignent ses bâtiments historiques et des bâtisses plutôt cossues. Si vous passez en voiture, prenez le temps d'admirer la First Congregational Church, construite en 1818, et la jolie St. Paul's Episcopal Church, qui date quant à elle de 1785 et que vous repérerez à son clocher blanc immaculé.