Nach einigem Kommen und Gehen der Mitglieder wurde die klassische Besetzung von James, Eddie Gray (Gitarre), Mike Vale (Bass), Ron Rosman (Keyboards) und Pete Lucia (Schlagzeug) gebildet. Die Gruppe nahm einen Folgesong zu „Hanky Panky“ auf. Als Bob Macks Versuch, ein paar Shondells zu finden, versehentlich klappte, erzählte er James von einer anderen Platte, die er in derselben Gebrauchtplattentonne fand, aus der „Hanky Panky“ stammte: „Say I Am“ von Jimmy Gilmer and the Fireballs. Das Einzige, was James und seine neuen Shondells wussten, als sie zum ersten Mal das Aufnahmestudio betraten, war, dass alles, was sie aufnahmen, ähnlich wie „Hanky Panky“ klingen sollte, obwohl die beiden Songs überhaupt nicht ähnlich klingen. Mack spielte der Gruppe die Platte von The Fireballs vor, und sie entschieden sich, ihre Version des Songs aufzunehmen. Mack wurde als Produzent für das erste Album der Gruppe, „Hanky Panky“, genannt.
Songwriter Richie Cordell schrieb (oder schrieb mit) und produzierte viele der Hits der Gruppe, darunter „I Think We’re Alone Now“, „Mirage“ und „Mony Mony“. Die Entstehung von „Mony Mony“ war eine Gemeinschaftsarbeit von Cordell, James, dem Shondells-Bandmitglied Peter Lucia, dem Produzenten Bo Gentry und Bobby Bloom. James und Cordell machten sich daran, eine Party-Rock-Single zu kreieren und arbeiteten alles aus, bis auf den Titel des Songs, der ihnen auch nach vielen Bemühungen nicht einfiel. Als sie auf der Terrasse von James‘ Wohnung eine Pause von ihren kreativen Bemühungen einlegten, blickten sie auf die große Leuchtreklame der Mutual of New York Insurance Company, auf der die Abkürzung des Unternehmens stand: M-O-N-Y, die den Namen des Songs lieferte.
Tommy James and the Shondells produzierten auch ein „Mony Mony“-Video, als der Song ein Hit wurde. Obwohl zu diesem Zeitpunkt bereits eine Reihe von Musikgruppen Videos produziert hatten, gab es in den USA überhaupt keinen Markt für diesen Film. Die Fernsehsender wollten ihn nicht ausstrahlen, und in Europa wurde er ursprünglich zwischen den Doppelvorstellungen in den Kinos gezeigt. Der Film wurde in den USA erst mit der Gründung von MTV gezeigt.
James wurde von Beatle George Harrison kontaktiert, der zu dieser Zeit mit einer Gruppe namens Grapefruit arbeitete. Harrison und die Gruppe hatten einige Songs geschrieben, von denen sie wollten, dass James sie aufnimmt. Da die Gruppe den Entschluss fasste, ihren musikalischen Stil zu ändern (und dies mit „Crimson and Clover“ tun würde: siehe unten) und das von Harrison und Grapefruit zur Verfügung gestellte Material im Stil von „Mony Mony“ war, lehnte James ihr Angebot ab.
Das Musikgeschäft änderte sich nach dem Erfolg von „Mony Mony“. Die Formatierung der Top-40-Programme, die auf 45-RPM-Single-Platten basierten, bestimmte die populäre Musik im Radio. Nur wenige Sender spielten Ausschnitte aus Plattenalben, so dass das Radio faktisch Single-Platten für die Plattenfirmen „verkaufte“. Im August 1968 gingen James and the Shondells für drei Monate mit dem Präsidentschaftskandidaten und Vizepräsidenten Hubert Humphrey auf Wahlkampftour. In der Zwischenzeit war die populäre Musik auf Alben umgestiegen und verdrängte viele Interpreten, deren Singles Top-Seller gewesen waren. James erkannte, dass er und die Shondells eine albumorientierte Gruppe werden mussten, wenn sie im Geschäft überleben wollten, was eine Änderung ihres Stils erforderte.
Nachdem er eine Marketingstrategie für ihren neuen Sound ausgearbeitet hatte, besuchte James WLS, als die Gruppe in Chicago ein Konzert gab, und brachte dem Sender einen Rohschnitt von „Crimson and Clover“ mit. WLS nahm die Musik heimlich auf, als James ihnen sein Band vorspielte. Als James das Gebäude verließ und im Auto saß, spielte das Radio die Synchronisation des Senders von dem noch nicht fertiggestellten Song. „Crimson and Clover“ musste so gepresst werden, wie es im Radiosender zu hören war, und der Marketingplan war nun verschwendete Zeit und Mühe.
„Crimson and Clover“ war ein großer Erfolg, und die Gruppe würde zwei Nachfolge-Hits haben, die ebenfalls die Top 10 der Hot 100 erreichten, „Sweet Cherry Wine“ und „Crystal Blue Persuasion“. James, der alle drei Songs mitgeschrieben hatte, und seine Band schafften den Übergang so gut, dass sie zu einem Auftritt in Woodstock eingeladen wurden. James beschreibt Artie Kornfelds Einladung wie folgt: „Artie kam auf mich zu und fragte, ob wir auf dieser Schweinefarm im Hinterland von New York spielen könnten.“ Ich sagte: „Was?!?“ „Nun, sie sagen, es werden viele Leute dort sein und es wird eine wirklich wichtige Show.“ Zu der Zeit war James auf Hawaii und war ungläubig darüber, dass er gebeten wurde, 6.000 Meilen zu reisen, um eine Show auf einer Schweinefarm in Upstate New York zu spielen. Er sagte der Sekretärin von Roulette Records: „Wenn ich nicht da bin, fangt bitte ohne uns an.“
Im März 1970, nach vier weiteren Hits, brachten Drogen James fast um, als er bei einem Konzert zusammenbrach und für tot erklärt wurde. Er überlebte jedoch, entschied sich, eine Pause vom Aufnahmestudio zu nehmen und zog aufs Land, um sich zu erholen. Die Shondells, ohne James, nahmen zwei Alben unter dem neuen Gruppennamen Hog Heaven auf (ein „self titled“ auf Roulette Records im Jahr 1970 und das zweite (1971) unveröffentlicht bis 2008), lösten sich aber bald darauf auf.
Tommy James and The Shondells wurden 2006 in die Michigan Rock and Roll Legends online Hall of Fame gewählt. Vier der größten Hits der Band wurden zu „Legendary Michigan Songs“ gewählt: „Crimson & Clover“ im Jahr 2010, sowie „Hanky Panky“, „I Think We’re Alone Now“ und „Mony Mony“ im Jahr 2011.