O castelo foi concebido pelos arquitectos Calvert Vaux e Jacob Wrey Mould como uma característica adicional do Plano Greensward, criado por Vaux e Frederick Law Olmsted. Olmsted e Vaux foram recontratados para as suas posições em meados de 1865 após terem desistido abruptamente vários anos antes.:58-59 Em 1867, Vaux decidiu desenvolver esta área através da construção do Castelo Belvedere no topo da rocha, com vista para o reservatório de Croton. O local já possuía uma torre de incêndio sob o controlo da placa do Aqueduto de Croton, e assim a torre de incêndio foi demolida.
Os planos originais do Castelo de Belvedere exigiam duas torres de pedra tufada: uma estrutura maior na elevação leste e uma estrutura mais pequena no lado oeste.:60 Sob a liderança de Tammany Hall, foi revisto em Novembro de 1870 para reduzir os custos e foi concluído como um pavilhão aberto de madeira pintada. A estrutura oriental foi concluída em 1871, enquanto que a estrutura ocidental nunca foi construída.:60 À medida que as plantações amadureceram, o castelo foi obscurecido do seu ponto de vista original pretendido. A sua torre é o ponto mais alto do parque.
Depois de o Observatório Meteorológico de Nova Iorque ter automatizado o seu equipamento e transferido os seus escritórios para o Rockefeller Center nos anos 60, o Castelo de Belvedere foi fechado ao público e tornou-se objecto de muito vandalismo, negligência e deterioração. O Central Park Conservancy lançou um esforço de restauração e reabriu a estrutura a 1 de Maio de 1983. A torre original foi substituída, os pavilhões foram reconstruídos, e o castelo foi convertido num centro de visitantes. Em 1995, a Equipa de Preservação Histórica do Conservancy substituiu a loggia de madeira pintada do castelo, trabalhando a partir dos desenhos de Vaux, nos cais e paredes de granito que tinham sobrevivido. No mesmo ano, foi distribuída uma subvenção de 340.000 dólares para a restauração do castelo como Centro de Natureza Henry Luce. Essa restauração foi concluída em 1996.
Em 2018, a Central Park Conservancy realizou uma segunda renovação do Castelo de Belvedere. Os planos incluíam a substituição das portas e janelas existentes por vidro de duas folhas. Além disso, o Conservancy propôs a construção de um novo caminho de acesso às normas ADA a partir da East Drive. O caminho de acesso – na verdade uma rampa elevada com parapeitos – foi criticado como criando uma barreira desnecessária no parque, de resto naturalista. Após a renovação de 12 milhões de dólares, o castelo reabriu em 28 de Junho de 2019.