Pitt era el hijo mayor de John Pitt (m.1602), secretario de Hacienda de la reina Isabel I y comerciante de Blandford Forum en Dorset, por su esposa Joan Swayne, hija de John Swayne. John Pitt (m.1602) recibió una concesión de armas y según el comentarista heráldico Mark Antony Lower (1845) «La familia de Pitt, conde de Chatham, llevaba «Sable, una fesse chequy argent y azure entre tres bezants (o piezas de dinero)», en alusión al cargo que el concesionario original tenía en el Exchequer. Los Fanshawes también llevaban chequy, &c., por el mismo motivo». En la época medieval los asuntos del Exchequer se realizaban sobre una mesa cubierta por un gran paño de cuadros sobre el que se colocaban las sumas de dinero recibidas y se movían de un lado a otro en una forma primitiva de contabilidad financiera. El hermano menor de William Pitt era Thomas Pitt de Blandford, de quien descienden los Pitt de Boconnoc, a saber, su nieto Thomas Pitt (1653-1726), presidente de Madrás, un rico comerciante que compró Boconnoc, y su nieto William Pitt, primer conde de Chatham (1708-1778) («Pitt el Viejo»), dos veces primer ministro de Gran Bretaña, padre de William Pitt el Joven (1759-1806), también primer ministro.