Zamek został zaprojektowany przez architektów Calverta Vaux i Jacoba Wrey’a Moulda jako dodatkowy element planu Greensward, stworzonego przez Vaux i Fredericka Law Olmsteda. Olmsted i Vaux zostali ponownie zatrudnieni na swoich stanowiskach w połowie 1865 roku po nagłym odejściu z pracy kilka lat wcześniej.:58-59 W 1867 roku Vaux postanowił zagospodarować ten teren, budując Belvedere Castle na szczycie skały, z widokiem na Croton Reservoir. W tym miejscu znajdowała się już wieża przeciwpożarowa pod kontrolą zarządu Croton Aqueduct, więc została ona zburzona.
Pierwotne plany zamku Belvedere przewidywały dwie kamienne wieże z wieżyczkami: większą na wschodniej elewacji i mniejszą na zachodniej.:60 Pod kierownictwem Tammany Hall, w listopadzie 1870 roku, zmieniono je w celu zmniejszenia kosztów i ukończono jako otwarty pawilon z malowanego drewna. Wschodnia struktura została ukończona do 1871 roku, podczas gdy zachodnia nigdy nie została zbudowana.:60 W miarę dojrzewania roślinności, zamek został zasłonięty z pierwotnie zamierzonego punktu widzenia. Jego wieżyczka jest najwyższym punktem w parku.
Po tym jak Nowojorskie Obserwatorium Meteorologiczne zautomatyzowało swój sprzęt i przeniosło swoje biura do Rockefeller Center w latach 60-tych, Zamek Belvedere został zamknięty dla publiczności i stał się obiektem wielu aktów wandalizmu, zaniedbania i degradacji. Central Park Conservancy rozpoczął wysiłek renowacji i ponownie otworzył strukturę 1 maja 1983 roku. Oryginalna wieżyczka została zastąpiona, pawilony odbudowane, a zamek przekształcono w centrum dla zwiedzających. W 1995 roku ekipa konserwatorów zabytków Conservancy’s Historic Preservation Crew zastąpiła malowaną drewnianą loggię zamku, pracując według projektów Vaux, na granitowych filarach i ścianach, które przetrwały. W tym samym roku, dotacja w wysokości 340,000 dolarów została rozdzielona w celu przywrócenia zamku jako Henry Luce Nature Center. Ta renowacja została zakończona w 1996 r.
W 2018 r., Central Park Conservancy przeprowadził drugą renowację Belvedere Castle. Plany obejmowały wymianę istniejących drzwi i okien na podwójne szyby. Ponadto Conservancy zaproponowało budowę nowej ścieżki dostępu do standardów ADA z East Drive. Ścieżka dostępu – w rzeczywistości podwyższona rampa z parapetami – została skrytykowana jako niepotrzebna bariera w naturalistycznym parku. Po renowacji o wartości 12 milionów dolarów zamek został ponownie otwarty 28 czerwca 2019 r.
.