L'île a été un fort avant d'être une prison. Les batteries de la guerre de Sécession sont encore là, sous le bâtiment principal, et l'on monte par une rampe raide entre des ruines : la maison du directeur et le club des officiers, incendiés pendant l'occupation amérindienne, ne sont plus que des façades trouées. Le nom espagnol de l'île désignait les pélicans, qui y nichaient avant tout le monde.
L'évasion de 1962 n'a jamais été élucidée. Trois hommes ont élargi les grilles d'aération de leurs cellules avec des cuillères et un foret bricolé, laissé dans leurs lits des têtes en papier mâché coiffées de vrais cheveux, et pris la mer sur un radeau d'imperméables cousus. On ne les a jamais retrouvés. Les cellules éventrées sont restées telles quelles, les fausses têtes en vitrine.
En 1969, des militants amérindiens ont occupé l'île dix-neuf mois, au nom d'un traité prévoyant le retour aux tribus des terres fédérales abandonnées ; leurs inscriptions rouges sur le château d'eau ont été restaurées plutôt qu'effacées. Il y fait plus froid et plus venteux qu'en ville, des sentiers ferment au printemps pendant la nidification, et le dernier bateau du retour ne s'attend pas : il se prend.