Zijn vader wilde dat hij in het bankwezen zou gaan, maar de jonge Johann nam in het geheim vioollessen van een man genaamd Franz Amon, die de leider was van zijn vaders orkest. Hij vervolgde zijn vioolstudie bij Anton Kohlmann, een violist die balletdansers hielp om de muziek te leren waarop zij moesten dansen. Hij was nog maar 18 toen hij zijn eigen orkest samenstelde en zijn eigen concert gaf met zes van zijn eigen walsen en enkele van die van zijn vader. Hij werd al snel beroemder dan zijn vader.
Na de dood van zijn vader in 1849 werden de twee orkesten samengevoegd en de jonge Johann werd hun dirigent. Hij kreeg de titel “k.k.Hofballmusikdirektor” (wat betekent; Muzikaal Directeur van het Hofbal). Hij had het altijd bijzonder druk in de carnavalstijd, wanneer er veel bals in Wenen waren. Hij toerde met zijn orkest door het grootste deel van Europa en ging zelfs naar Rusland, waar hij muziek van Tsjaikovski dirigeerde. Johann Strauss II was de “koning van de wals” aan het worden, de beroemdste musicus van Oostenrijk.