Krupa realizó sus primeras grabaciones en 1927 con una banda bajo la dirección de Red McKenzie y el guitarrista Eddie Condon. Junto con otras grabaciones de músicos de la escena del jazz de Chicago, como Bix Beiderbecke, estas grabaciones son ejemplos del jazz al estilo de Chicago. Entre las influencias de Krupa durante esta época se encuentran el padre Ildefonse Rapp y Roy Knapp (ambos profesores suyos), y los bateristas Tubby Hall, Zutty Singleton y Baby Dodds. Los press rolls (arrastrar una baqueta por el parche de la caja mientras se mantiene el ritmo con la otra baqueta) eran una técnica bastante común en las primeras etapas de su desarrollo. Hubo muchos otros bateristas (Ray Bauduc, Chick Webb, George Wettling, Dave Tough) que influyeron en su forma de tocar la batería y otros instrumentistas y compositores como Frederick Delius que influyeron en su forma de entender la música.
Krupa apareció en seis grabaciones de la banda de Thelma Terry en 1928. En diciembre de 1934, se unió a la banda de Benny Goodman, donde su trabajo de batería le convirtió en una celebridad nacional. Sus interludios de tom-tom en el éxito «Sing, Sing, Sing» fueron los primeros solos de batería extendidos que se grabaron comercialmente. Pero los conflictos con Goodman le llevaron a dejar el grupo y formar su propia orquesta poco después del concierto del Carnegie Hall en enero de 1938. Apareció en la película de 1941 Ball of Fire, en la que él y su banda interpretaron una versión extendida del éxito «Drum Boogie» (compuesto por Krupa y Roy Eldridge), cantado por Martha Tilton y sincronizado con los labios por Barbara Stanwyck.
En 1943, Krupa fue arrestado por una falsa acusación de drogas. Esto le supuso una corta condena en la cárcel y una mala publicidad. Gene disolvió la orquesta y volvió a la banda de Goodman durante unos meses. Cuando Goodman quiso que hiciera una gira por la costa oeste, Gene (comprensiblemente) decidió no hacerlo. Entonces se unió a la banda de Tommy Dorsey durante varios meses y luego montó su siguiente orquesta.
Al finalizar la década de 1940, Count Basie cerró su banda y Woody Herman redujo su banda a un octeto. En 1951, Krupa redujo el tamaño de su banda a una de diez piezas durante un corto periodo de tiempo y a partir de 1952 dirigió tríos, luego cuartetos, a menudo con Charlie Ventura y luego con Eddie Shu en el saxo tenor, el clarinete y la armónica. Aparece regularmente en los conciertos de Jazz at the Philharmonic. En la década de 1950, Krupa volvió a Hollywood para aparecer en las películas The Glenn Miller Story y The Benny Goodman Story. En 1959, se estrenó la película biográfica The Gene Krupa Story; Sal Mineo interpretó a Krupa, y la película incluía cameos de Anita O’Day y Red Nichols. Durante las décadas de 1950 y 1960, Krupa tocó a menudo en el Metropole, cerca de Times Square, en Manhattan. Siguió actuando en clubes famosos en la década de 1960, incluido el Showboat Lounge en el noroeste de Washington, D.C. Con su compañero Cozy Cole, Gene creó una escuela de música en 1954 que continuó en la década de 1960. Algunos de los alumnos de la escuela fueron Peter Criss de KISS y Jerry Nolan de The New York Dolls. Doug Clifford, de Creedence Clearwater Revival, citó a Krupa como fuente de inspiración. Esto incluyó varios conciertos de reunión del Benny Goodman Quartette original. El 17 de abril de 1973, el Gene Krupa Quartet, compuesto por Eddie Shu (tenor y clarinete), John Bunch (piano), Nabil Totah (bajo) y Krupa (batería), grabó una actuación en directo en la New School con la composición de Louis Prima «Sing, Sing, Sing».
Sus composiciones que escribió o co-escribió incluyen «Some Like It Hot» en 1939, «Drum Boogie», «Boogie Blues», su tema «Apurksody», «Ball of Fire», «Disc Jockey Jump» con Gerry Mulligan, «Wire Brush Stomp», «Hippdeebip», «Krupa’s Wail», «Swing is Hee», «Quit and Roll ‘Em» con Sam Donahue, y «How ‘Bout This Mess».
Batallas de batería entre Krupa y RichEdición
Norman Granz contrató a Krupa y al batería Buddy Rich para sus conciertos de Jazz at the Philharmonic. Los dos bateristas actuaron en el Carnegie Hall en septiembre de 1952 y fue publicado por Verve como The Drum Battle. Los dos bateristas se enfrentaron en varias emisiones de televisión y en otros lugares y a menudo tocaban dúos similares con el baterista Cozy Cole. Krupa y Rich grabaron dos álbumes de estudio juntos: Krupa and Rich (Verve, 1955) y Burnin’ Beat (Verve, 1962).