Das zwischen 1808 und 1811 erbaute, kreisförmige Castle Clinton beherbergte eine der Artillerie-Batterien, die die Stadt schütze. Es wurde in ein Opernhaus verwandelt und in Castle Garden umbenannt. Vor der Eröffnung von Ellis Island diente das Gebäude als Aufnahmestelle für Einwanderer, danach beherbergte es bis 1941 das New Yorker Aquarium.