Pitt era il figlio maggiore di John Pitt (morto nel 1602), impiegato dello Scacchiere della regina Elisabetta I e mercante di Blandford Forum nel Dorset, da sua moglie Joan Swayne, una figlia di John Swayne. John Pitt (morto nel 1602) ricevette una concessione di armi e secondo il commentatore araldico Mark Antony Lower (1845): “La famiglia di Pitt, conte di Chatham, portava “Sable, una fesse chequy argent e azure tra tre bezants (o pezzi di denaro)”, in allusione all’ufficio che il beneficiario originale aveva nello Scacchiere. I Fanshawes portavano anche chequy, &c., per lo stesso motivo”. In epoca medievale gli affari dell’Exchequer si svolgevano su un tavolo coperto da un grande panno a scacchi su cui venivano poste e spostate le somme di denaro ricevute in una forma primitiva di contabilità finanziaria. Il fratello minore di William Pitt era Thomas Pitt di Blandford, da cui discendono i Pitt di Boconnoc, cioè suo nipote Thomas Pitt (1653-1726), presidente di Madras, un ricco mercante che acquistò Boconnoc, e suo nipote William Pitt, 1° conte di Chatham (1708-1778) (“Pitt il Vecchio”), due volte primo ministro della Gran Bretagna, il padre di William Pitt il Giovane (1759-1806), anche lui primo ministro.