Das Schloss wurde von den Architekten Calvert Vaux und Jacob Wrey Mould als zusätzliches Element des Greensward Plans entworfen, der von Vaux und Frederick Law Olmsted erstellt wurde. Olmsted und Vaux wurden Mitte 1865 wieder in ihren Positionen eingestellt, nachdem sie einige Jahre zuvor abrupt gekündigt hatten.:58-59 1867 beschloss Vaux, dieses Gebiet zu entwickeln, indem er das Belvedere Castle auf der Spitze des Felsens mit Blick auf das Croton Reservoir baute. Auf dem Gelände befand sich bereits ein Feuerturm, der dem Croton Aqueduct Board unterstand, und so wurde der Feuerturm abgerissen.
Die ursprünglichen Pläne für Belvedere Castle sahen zwei turmartige Steintürme vor: ein größeres Bauwerk auf der Ostseite und ein kleineres Bauwerk auf der Westseite.:60 Unter der Führung von Tammany Hall wurde es im November 1870 überarbeitet, um die Kosten zu senken, und als offener Pavillon aus bemaltem Holz fertiggestellt. Die östliche Struktur wurde 1871 fertiggestellt, während die westliche Struktur nie gebaut wurde.:60 Da die Bepflanzung heranreifte, wurde das Schloss von seinem ursprünglich beabsichtigten Blickpunkt verdeckt. Sein Turm ist der höchste Punkt im Park.
Nachdem das New Yorker Meteorologische Observatorium seine Ausrüstung automatisierte und seine Büros in den 1960er Jahren in das Rockefeller Center verlegte, wurde das Belvedere Castle für die Öffentlichkeit geschlossen und wurde ein Objekt von viel Vandalismus, Vernachlässigung und Verfall. Die Central Park Conservancy startete eine Restaurierungsmaßnahme und eröffnete das Bauwerk am 1. Mai 1983 wieder. Das ursprüngliche Türmchen wurde ersetzt, die Pavillons wurden wieder aufgebaut und das Schloss wurde in ein Besucherzentrum umgewandelt. 1995 ersetzte die Historic Preservation Crew der Conservancy die bemalte Holzloggia des Schlosses nach den Entwürfen von Vaux auf den erhaltenen Granitpfeilern und -wänden. Im selben Jahr wurde ein Zuschuss von 340.000 Dollar für die Restaurierung des Schlosses als Henry Luce Nature Center bewilligt. Diese Restaurierung wurde 1996 abgeschlossen.
Im Jahr 2018 führte die Central Park Conservancy eine zweite Renovierung des Belvedere Castle durch. Zu den Plänen gehörte es, die vorhandenen Türen und Fenster durch Doppelverglasung zu ersetzen. Darüber hinaus schlug die Conservancy vor, einen neuen Zugangsweg nach ADA-Standards vom East Drive aus zu errichten. Der Zugangsweg – eigentlich eine erhöhte Rampe mit Brüstungen – wurde als unnötige Barriere in dem ansonsten naturalistischen Park kritisiert. Nach der 12 Millionen Dollar teuren Renovierung wurde das Schloss am 28. Juni 2019 wiedereröffnet.