Son père voulait qu’il s’oriente vers la banque, mais le jeune Johann prend des cours de violon en secret auprès d’un certain Franz Amon qui dirigeait l’orchestre de son père. Il poursuit ses études de violon avec Anton Kohlmann, un violoniste qui aide les danseurs de ballet à apprendre la musique sur laquelle ils doivent danser. Il n’a encore que 18 ans lorsqu’il réunit son propre orchestre et donne son propre concert qui comprend six de ses propres valses et quelques-unes de celles de son père. Il devint rapidement plus célèbre que son père.
Après la mort de son père en 1849, les deux orchestres se réunirent en un seul et le jeune Johann en fut le chef. Il reçut le titre de » k.k.Hofballmusikdirektor » (ce qui signifie ; directeur musical du bal de la cour). Il était toujours particulièrement occupé pendant la période du carnaval où il y avait beaucoup de bals à Vienne. Il fait des tournées dans la plupart des pays d’Europe avec son orchestre et se rend même en Russie où il dirige des œuvres de Tchaïkovski. Johann Strauss II était en train de devenir le « roi de la valse », le musicien le plus célèbre d’Autriche.