La ville s’articule autour de l’activité de marine fluviale et du château qui, dès le Xe siècle, protège la ville contre l’agresseur et surveille le passage de la Loire. La cité sera fortifiée au début du XIVe siècle, avec d’épais remparts installés à la place des actuels boulevards. On en trouve quelques vestiges le long des douves du château. Le passage aux mains de la famille de Béthune-Sully assurera, par la fonction de l’illustre ministre d’Henri IV, une évidente prospérité à la ville. A l’ouest, le quartier Saint-Germain, connu depuis longtemps pour son activité commerciale et fluviale, est l’un des plus anciens. Son port voyait partir vin, bois, charbon vers d’autres rives. Si le château a résisté à la dernière guerre, la ville, dans son ensemble, a beaucoup souffert, et en porte encore les blessures. L’histoire de Sully, c’est aussi celle de son pont, maintes fois détruit et maintes fois reconstruit : crues du fleuve, guerres – et même le froid, qui provoque, en 1985, l’écroulement du dernier pont suspendu – ont été d’actifs agents de rupture de liaison d’une rive à l’autre. La construction actuelle, en béton et acier, est donc très récente (1986).
