Su padre quería que se dedicara a la banca, pero el joven Johann tomó clases de violín en secreto con un hombre llamado Franz Amon que era el director de la orquesta de su padre. Continuó sus estudios de violín con Anton Kohlmann, un violinista que ayudaba a los bailarines de ballet a aprender la música que tenían que bailar. Sólo tenía 18 años cuando reunió su propia orquesta y dio su propio concierto, que incluía seis valses propios y algunos de su padre. Pronto se hizo más famoso que su padre.
Tras la muerte de su padre en 1849, las dos orquestas se unieron en una sola y el joven Johann fue su director. Se le dio el título de «k.k.Hofballmusikdirektor» (que significa; Director Musical del Baile de Corte). Siempre estaba especialmente ocupado durante la época de Carnaval, cuando había muchos bailes en Viena. Recorrió casi toda Europa con su orquesta, e incluso fue a Rusia, donde dirigió música de Tchaikovsky. Johann Strauss II se estaba convirtiendo en el «rey del vals», el músico más famoso de Austria.