Ojciec chciał, żeby zajął się bankowością, ale młody Johann brał potajemnie lekcje gry na skrzypcach u niejakiego Franza Amona, który był szefem orkiestry jego ojca. Naukę gry na skrzypcach kontynuował u Antona Kohlmanna, skrzypka, który pomagał baletnicom w nauce muzyki, do której miały tańczyć. Miał zaledwie 18 lat, gdy zebrał własną orkiestrę i dał własny koncert, na którym wykonał sześć własnych walców i kilka walców ojca. Wkrótce stał się bardziej sławny niż jego ojciec.
Po śmierci ojca w 1849 roku obie orkiestry połączyły się w jedną, a młody Johann został ich dyrygentem. Otrzymał tytuł „k.k.Hofballmusikdirektor” (co oznacza; Dyrektor Muzyczny Balu Dworskiego). Był zawsze szczególnie zajęty w okresie karnawału, kiedy w Wiedniu odbywało się wiele balów. Ze swoją orkiestrą zwiedził większość Europy, udał się nawet do Rosji, gdzie dyrygował muzyką Czajkowskiego. Johann Strauss II stawał się „królem walca”, najbardziej znanym muzykiem w Austrii.