Pitt war der älteste Sohn von John Pitt (gest. 1602), Finanzbeamter von Königin Elisabeth I. und Kaufmann aus Blandford Forum in Dorset, durch seine Frau Joan Swayne, einer Tochter von John Swayne. John Pitt (gest. 1602) erhielt eine Wappenverleihung und nach dem heraldischen Kommentator Mark Antony Lower (1845): „Die Familie von Pitt, Earl of Chatham, führte „Sable, a fesse chequy argent and azure between three bezants (or pieces of money)“, in Anspielung auf das Amt, das der ursprüngliche Begünstigte im Exchequer innehatte. Auch die Fanshawes trugen aus demselben Grund ein Chequy, &c.“. Im Mittelalter wurden die Geschäfte des Exchequer auf einem Tisch abgewickelt, der mit einem großen karierten Tuch bedeckt war, auf dem die eingenommenen Geldbeträge platziert und in einer primitiven Form der Finanzbuchhaltung hin und her geschoben wurden. William Pitts jüngerer Bruder war Thomas Pitt of Blandford, von dem die Pitts von Boconnoc abstammten, nämlich sein Enkel Thomas Pitt (1653-1726), Präsident von Madras, ein wohlhabender Kaufmann, der Boconnoc kaufte, und sein Enkel William Pitt, 1. Earl of Chatham (1708-1778) („Pitt der Ältere“), zweimaliger Premierminister von Großbritannien, der Vater von William Pitt dem Jüngeren (1759-1806), ebenfalls Premierminister.