Le château a été conçu par les architectes Calvert Vaux et Jacob Wrey Mould comme un élément supplémentaire du Greensward Plan, créé par Vaux et Frederick Law Olmsted. Olmsted et Vaux ont été réembauchés à leurs postes au milieu de l’année 1865 après avoir quitté brusquement leur poste plusieurs années auparavant :58-59 En 1867, Vaux a décidé de développer cette zone en construisant le château du Belvédère au sommet du rocher, surplombant le réservoir de Croton. Le site abritait déjà une tour de pompiers sous le contrôle du conseil de l’aqueduc de Croton, et la tour de pompiers a donc été démolie.
Les plans originaux du Belvedere Castle prévoyaient deux tours de pierre à tourelles : une structure plus grande sur l’élévation orientale et une structure plus petite sur le côté ouest.:60 Sous la direction de Tammany Hall, il a été révisé en novembre 1870 pour réduire les coûts et a été achevé comme un pavillon ouvert en bois peint. La structure orientale a été achevée en 1871, tandis que la structure occidentale n’a jamais été construite :60 Au fur et à mesure que les plantations ont mûri, le château a été obscurci par rapport à son point de vue original. Sa tourelle est le point le plus élevé du parc.
Après que l’Observatoire météorologique de New York ait automatisé ses équipements et déménagé ses bureaux au Rockefeller Center dans les années 1960, le château Belvedere a été fermé au public et est devenu l’objet de beaucoup de vandalisme, de négligence et de détérioration. Le Central Park Conservancy a lancé un effort de restauration et a rouvert la structure le 1er mai 1983. La tourelle d’origine a été remplacée, les pavillons ont été reconstruits et le château a été transformé en centre d’accueil des visiteurs. En 1995, l’équipe de préservation historique du Conservancy a remplacé la loggia en bois peint du château, en travaillant à partir des dessins de Vaux, sur les piliers et les murs en granit qui avaient survécu. La même année, une subvention de 340 000 $ a été distribuée pour restaurer le château en tant que centre de la nature Henry Luce. Cette restauration a été achevée en 1996.
En 2018, le Central Park Conservancy a mené une deuxième rénovation du château Belvedere. Les plans comprenaient le remplacement des portes et des fenêtres existantes par du verre à double vitrage. En outre, le Conservancy a proposé de construire un nouveau chemin d’accès aux normes ADA depuis l’East Drive. Le chemin d’accès – en fait une rampe surélevée avec des parapets – a été critiqué comme créant une barrière inutile dans un parc par ailleurs naturaliste. Après la rénovation de 12 millions de dollars, le château a rouvert ses portes le 28 juin 2019.