Annotto Bay était à l'époque des grandes plantations bananières un port prospère. La ville tire son nom de la teinture extraite d'un arbre originaire d'Amérique centrale, le roucouyer, qui poussait autrefois ici. Le bourg traversé par la Pencar River s'étire le long d'une seule rue. Le centre conserve un charme d'antan rehaussé par les galeries couvertes qui courent le long des anciens bâtiments. On jettera un coup d'oeil sur l'ancien tribunal et sur l'église baptiste de 1894, un bâtiment rouge et beige aux arcades romanes. La station de chemin de fer est inutilisée depuis le passage en 1980 du cyclone Allan. La route arrivant de Kingston pour Port Antonio arrive ici.