Após algumas idas e vindas de membros, formou-se o alinhamento clássico de James, Eddie Gray (guitarra), Mike Vale (baixo), Ron Rosman (teclados) e Pete Lucia (bateria). O grupo gravou uma canção complementar de “Hanky Panky”. Quando a tentativa de Bob Mack de encontrar alguns Shondells resultou de uma forma inadvertida, ele contou a James sobre outro disco que encontrou no mesmo caixote do lixo de discos usados de “Hanky Panky”: “Say I Am” de Jimmy Gilmer e os Fireballs. A única coisa de que James e os seus novos Shondells tinham conhecimento quando entraram no estúdio de gravação pela primeira vez é que tudo o que gravaram deveria soar semelhante a “Hanky Panky”, embora as duas canções não soem nada parecidas. Mack tocou The Fireballs para o grupo, e eles decidiram gravar a sua versão da canção. Mack foi creditado como produtor do primeiro álbum do grupo, Hanky Panky.
O compositor Richie Cordell escreveu (ou co-escreveu) e produziu muitos dos êxitos do grupo, entre eles “I Think We’re Alone Now”, “Mirage”, e “Mony Mony”. A criação de “Mony Mony” foi um esforço de grupo envolvendo Cordell, James, o membro da banda Shondells Peter Lucia, o produtor Bo Gentry, e Bobby Bloom. James e Cordell propuseram-se a criar um single de rock party, trabalhando tudo excepto o título da canção, o que os iludiu mesmo depois de muito esforço. Quando fizeram uma pausa dos seus esforços criativos no terraço do apartamento de James, olharam para o grande letreiro de néon do Mutual of New York Insurance Company com a abreviatura da companhia: M-O-N-Y, que forneceu o nome da canção.
Tommy James and the Shondells também produziu um vídeo “Mony Mony” quando a canção foi um sucesso. Embora vários grupos musicais já tivessem produzido vídeos nessa altura, não havia qualquer mercado para esse filme nos EUA. As estações de televisão não o transmitiam, e era originalmente exibido entre longas-metragens duplas em salas de cinema na Europa. O filme não foi visto nos EUA até à criação da MTV.
James foi contactado por Beatle George Harrison, que na altura trabalhava com um grupo chamado Grapefruit. Harrison e o grupo tinham escrito algumas canções que queriam que James considerasse gravar. Uma vez que o grupo tomou a decisão de mudar o seu estilo musical (e fá-lo-ia com “Crimson and Clover”: ver abaixo) e o material Harrison e Grapefruit fornecido estava no estilo de “Mony Mony”, James recusou a sua oferta.
O negócio da música mudou após o sucesso de “Mony Mony Mony”. A formatação do programa Top 40, baseada em discos individuais de 45 RPM, impulsionou a música popular na rádio. Poucas estações tocaram cortes de álbuns de discos, pelo que a rádio estava, de facto, a “vender” discos individuais para as empresas discográficas. Em Agosto de 1968, James e os Shondells seguiram o caminho da campanha durante três meses com o candidato presidencial, Vice-Presidente Hubert Humphrey. Entretanto, a música popular tinha-se tornado um álbum, deslocando muitos intérpretes cujos singles tinham sido os mais vendidos. James percebeu que ele e os Shondells precisavam de se tornar um grupo orientado para o álbum se quisessem sobreviver no negócio, necessitando de uma mudança no seu estilo.
Após a elaboração de uma estratégia de marketing para o seu novo som, James visitou a WLS quando o grupo estava em Chicago para dar um concerto, trazendo um corte bruto de “Crimson and Clover” para a estação. WLS gravou secretamente a música quando James tocou a sua cassete para eles. Quando James estava fora do edifício e no carro, o seu rádio estava a tocar o dub da estação da canção ainda não acabada. “Crimson and Clover” teve de ser premida da forma como foi ouvida na estação de rádio, e o plano de marketing foi agora uma perda de tempo e esforço.
“Crimson and Clover” foi um enorme sucesso, e o grupo teria dois sucessos seguintes que também atingiram o top 10 dos Hot 100, “Sweet Cherry Wine” e “Crystal Blue Persuasion”. James, que co-escreveu as três canções, e a sua banda fez bem o suficiente com a transição para ser convidado a actuar no Woodstock. James descreve o convite de Artie Kornfeld desta forma: “Artie foi convidado e perguntou se podia tocar nesta quinta de porcos no norte do estado de Nova Iorque”. Eu disse: “O quê?!?”. “Bem, dizem que vai estar lá muita gente, e vai ser um espectáculo muito importante”. Na altura, James estava no Havai e estava incrédulo por ser convidado a viajar 6.000 milhas para tocar num espectáculo numa quinta de porcos no norte de Nova Iorque, dizendo ao secretário da Roulette Records: “Se eu não estiver lá, comece sem nós, por favor?”
Em Março de 1970, após mais quatro êxitos, as drogas quase mataram James quando, num concerto, ele desmaiou, e foi pronunciado como morto. No entanto, sobreviveu, decidiu fazer uma pausa no estúdio de gravação, e mudou-se para o campo para se recuperar. Os Shondells, sem James, gravaram dois álbuns com o novo nome do grupo Hog Heaven (um “auto-intitulado” na Roulette Records em 1970 e o 2º (1971) não lançado até 2008), mas dissolvido pouco depois.
Tommy James and The Shondells foram votados no Michigan Rock and Roll Legends online Hall of Fame em 2006. Quatro dos maiores êxitos da banda foram votados Legendary Michigan Songs: “Crimson & Clover” em 2010, e “Hanky Panky”, “I Think We’re Alone Now”, e “Mony Mony Mony” em 2011.