O seu pai queria que ele entrasse para a banca, mas o jovem Johann teve aulas de violino em segredo de um homem chamado Franz Amon que era o líder da orquestra do seu pai. Ele continuou os seus estudos de violino com Anton Kohlmann, um violinista que ajudou os bailarinos a aprender a música que tinham de dançar. Ele ainda tinha apenas 18 anos quando reuniu a sua própria orquestra e deu o seu próprio concerto, que incluía seis das suas próprias valsas e algumas das do seu pai. Em breve estava a tornar-se mais famoso do que o seu pai.
Após a morte do seu pai em 1849, as duas orquestras juntaram-se numa só e o jovem Johann era o seu maestro. Foi-lhe atribuído o título “k.k.Hofballmusikdirektor” (ou seja; Director Musical do Baile do Tribunal). Esteve sempre especialmente ocupado durante o Carnaval, quando havia muitos bailes em Viena. Fez uma digressão pela maior parte da Europa com a sua orquestra, indo mesmo à Rússia, onde conduziu algumas músicas de Tchaikovsky. Johann Strauss II estava a tornar-se o “rei da valsa”, o músico mais famoso da Áustria.