Avec un peu plus de 4 000 habitants, Sugarloaf Key est la seule île des Keys à former un U sur l'Atlantique, comme si elle était constituée de deux îles en quelque sorte. C'est pourquoi elle est géographiquement divisée en deux avec Lower Sugarloaf Key d'un côté et Upper Sugarloaf Key de l'autre. Pour la petite histoire, la Key doit son nom étrange à une variété d'ananas, la Sugarloaf, qui poussait sur l'île à l'époque précolombienne. Sugarloaf Key abrite d'autres espèces locales comme le poison tree dont la sève est venimeuse. C'est depuis Sugarloaf Key que l'on peut partir découvrir la réserve de Great Heron National Wildlife Refuge.