Después de algunas idas y venidas de miembros, se formó la alineación clásica de James, Eddie Gray (guitarra), Mike Vale (bajo), Ron Rosman (teclados) y Pete Lucia (batería). El grupo grabó la continuación de «Hanky Panky». Cuando el intento de Bob Mack de encontrar unos Shondells funcionó de forma inadvertida, le habló a James de otro disco que encontró en el mismo contenedor de discos usados del que procedía «Hanky Panky»: «Say I Am» de Jimmy Gilmer and the Fireballs. Lo único que sabían James y sus nuevos Shondells cuando entraron en el estudio de grabación por primera vez es que todo lo que grabaran debía sonar parecido a «Hanky Panky», aunque las dos canciones no suenan nada igual. Mack puso el disco de The Fireballs para el grupo, y éste decidió grabar su versión de la canción. Mack fue acreditado como productor del primer álbum del grupo, Hanky Panky.
El compositor Richie Cordell escribió (o coescribió) y produjo muchos de los éxitos del grupo, entre ellos «I Think We’re Alone Now», «Mirage» y «Mony Mony». La creación de «Mony Mony» fue un esfuerzo de grupo en el que participaron Cordell, James, Peter Lucia, miembro de la banda Shondells, el productor Bo Gentry y Bobby Bloom. James y Cordell se propusieron crear un single de rock fiestero, resolviendo todo excepto el título de la canción, que se les escapó incluso después de mucho esfuerzo. Cuando hicieron una pausa en sus esfuerzos creativos en la terraza del apartamento de James, miraron el gran letrero de neón de la Mutual of New York Insurance Company con la abreviatura de la compañía: M-O-N-Y, que dio nombre a la canción.
Tommy James and the Shondells también produjeron un vídeo de «Mony Mony» cuando la canción fue un éxito. A pesar de que varios grupos musicales ya habían producido vídeos en esa época, no había ningún mercado para esa película en los Estados Unidos. Las cadenas de televisión no querían emitirla, y en un principio se proyectaba entre las funciones dobles en los cines de Europa. La película no se vio en EE.UU. hasta la creación de la MTV.
James fue contactado por el Beatle George Harrison, que estaba trabajando con un grupo llamado Grapefruit en ese momento. Harrison y el grupo habían escrito algunas canciones que querían que James considerara grabar. Como el grupo llegó a la decisión de cambiar su estilo musical (y lo haría con «Crimson and Clover»: ver más adelante) y el material que Harrison y Grapefruit le proporcionaron era del estilo de «Mony Mony», James rechazó su oferta.
El negocio de la música cambió tras el éxito de «Mony Mony». El formato de programa de los 40 principales, basado en discos sencillos de 45 RPM, impulsó la música popular en la radio. Pocas emisoras reproducían cortes de álbumes de discos, por lo que la radio, en efecto, «vendía» discos sueltos para las compañías discográficas. En agosto de 1968, James y los Shondells hicieron campaña durante tres meses con el candidato presidencial, el vicepresidente Hubert Humphrey. Mientras tanto, la música popular se había convertido en una actividad basada en los álbumes, desplazando a muchos artistas cuyos singles habían sido los más vendidos. James se dio cuenta de que él y los Shondells necesitaban convertirse en un grupo orientado a los álbumes si querían sobrevivir en el negocio, lo que requería un cambio en su estilo.
Después de elaborar una estrategia de marketing para su nuevo sonido, James visitó la WLS cuando el grupo estaba en Chicago para dar un concierto, llevando a la emisora un borrador de «Crimson and Clover». La WLS grabó en secreto la música cuando James les puso la cinta. Cuando James salió del edificio y se subió al coche, la radio ya reproducía el doblaje de la emisora de la canción aún no terminada. «Crimson and Clover» tuvo que ser grabada tal y como se escuchó en la emisora, y el plan de marketing era ahora una pérdida de tiempo y esfuerzo.
«Crimson and Clover» fue un gran éxito, y el grupo tendría dos éxitos posteriores que también llegaron al top 10 del Hot 100, «Sweet Cherry Wine» y «Crystal Blue Persuasion». James, que fue coautor de esas tres canciones, y su banda hicieron lo suficientemente bien la transición como para ser invitados a actuar en Woodstock. James describe así la invitación de Artie Kornfeld: «Artie se levantó y me preguntó si podía tocar en una granja de cerdos en el norte del estado de Nueva York». Yo dije: «¡¿Qué?!» «Bueno, dicen que va a haber mucha gente allí, y que va a ser un espectáculo muy importante». En ese momento James estaba en Hawai y se mostró incrédulo ante la petición de viajar 10.000 kilómetros para tocar en un concierto en una granja de cerdos del norte del estado de Nueva York, y le dijo a la secretaria de Roulette Records: «Si no estoy allí, empieza sin nosotros, ¿quieres?»
En marzo de 1970, después de cuatro éxitos más, las drogas casi matan a James cuando, en un concierto, se desplomó, y fue declarado muerto. Sin embargo, sobrevivió, decidió tomarse un descanso del estudio de grabación y se trasladó al campo para recuperarse. Los Shondells, sin James, grabaron dos álbumes bajo el nuevo nombre de grupo Hog Heaven (uno «autotitulado» en Roulette Records en 1970 y el segundo (1971) inédito hasta 2008), pero se disolvieron poco después.
Tommy James and The Shondells fueron votados para entrar en el Salón de la Fama en línea de Leyendas del Rock and Roll de Michigan en 2006. Cuatro de los mayores éxitos de la banda han sido votados como Canciones Legendarias de Michigan: «Crimson & Clover» en 2010, y «Hanky Panky», «I Think We’re Alone Now» y «Mony Mony» en 2011.