El castillo fue diseñado por los arquitectos Calvert Vaux y Jacob Wrey Mould como un elemento más del Plan Greensward, creado por Vaux y Frederick Law Olmsted. Olmsted y Vaux volvieron a ser contratados en sus puestos a mediados de 1865, después de haberlo dejado abruptamente varios años antes:58-59 En 1867, Vaux decidió desarrollar esta zona construyendo el castillo de Belvedere en la cima de la roca, con vistas al embalse de Croton. El lugar ya contaba con una torre de bomberos bajo el control de la junta del acueducto de Croton, por lo que la torre de bomberos fue demolida.
Los planes originales para el castillo de Belvedere preveían dos torres de piedra con torretas: una estructura más grande en la elevación oriental y una estructura más pequeña en el lado occidental.
Bajo el liderazgo de Tammany Hall, se revisó en noviembre de 1870 para reducir los costes y se completó como un pabellón abierto de madera pintada. La estructura oriental se completó en 1871, mientras que la occidental nunca se construyó:60 Al madurar las plantaciones, el castillo ha quedado oculto desde su punto de vista original. Su torreta es el punto más alto del parque.
Después de que el Observatorio Meteorológico de Nueva York automatizara sus equipos y trasladara sus oficinas al Rockefeller Center en la década de 1960, el Castillo del Belvedere se cerró al público y se convirtió en objeto de mucho vandalismo, abandono y deterioro. La Central Park Conservancy lanzó un esfuerzo de restauración y reabrió la estructura el 1 de mayo de 1983. Se sustituyó la torreta original, se reconstruyeron los pabellones y el castillo se convirtió en un centro de visitantes. En 1995, el equipo de Conservación Histórica sustituyó la logia de madera pintada del castillo, trabajando a partir de los diseños de Vaux, sobre los pilares y muros de granito que habían sobrevivido. Ese mismo año, se distribuyó una subvención de 340.000 dólares para restaurar el castillo como Centro de la Naturaleza Henry Luce. Esa restauración se completó en 1996.
En 2018, la Central Park Conservancy llevó a cabo una segunda renovación del Castillo de Belvedere. Los planes incluían la sustitución de las puertas y ventanas existentes por cristales dobles. Además, Conservancy propuso construir un nuevo camino de acceso según las normas de la ADA desde el East Drive. El camino de acceso -en realidad una rampa elevada con parapetos- ha sido criticado por crear una barrera innecesaria en un parque que, por lo demás, es naturalista. Tras la renovación de 12 millones de dólares, el castillo reabrió sus puertas el 28 de junio de 2019.