Pitt era o filho mais velho de John Pitt (d.1602), Escrivão do Tesouro da Rainha Isabel I e um mercenário do Blandford Forum em Dorset, pela sua esposa Joan Swayne, filha de John Swayne. John Pitt (d.1602) recebeu uma doação de armas e, segundo o comentador heráldico Marco António Lower (1845): “A família de Pitt, Conde de Chatham, deu à luz “Sable, um argento de cheques e azuis entre três luneiras (ou pedaços de dinheiro)”, em alusão ao escritório que o bolseiro original detinha no Tesouro. Os Fanshawes também davam chequy, &c., pela mesma razão”. Nos tempos medievais, o negócio do Tesouro era realizado sobre uma mesa coberta por um grande pano axadrezado, sobre o qual eram colocadas e movimentadas somas de dinheiro recebidas, numa forma primitiva de contabilidade financeira. O irmão mais novo de William Pitt era Thomas Pitt de Blandford, de quem descenderam os Pitts de Boconnoc, nomeadamente o seu neto Thomas Pitt (1653-1726), Presidente da Madras, um comerciante rico que comprou Boconnoc, e o seu neto William Pitt, 1º Conde de Chatham (1708-1778) (“Pitt o Mais Velho”), duas vezes Primeiro Ministro da Grã-Bretanha, o pai de William Pitt o Mais Jovem (1759-1806), também Primeiro Ministro.