Il padre voleva che entrasse nel settore bancario, ma il giovane Johann prese lezioni di violino in segreto da un uomo chiamato Franz Amon che era il leader dell’orchestra del padre. Continuò i suoi studi di violino con Anton Kohlmann, un violinista che aiutava i ballerini ad imparare la musica che dovevano ballare. Aveva ancora solo 18 anni quando mise insieme la sua orchestra e diede il suo concerto che includeva sei valzer suoi e alcuni di quelli di suo padre. Presto divenne più famoso di suo padre.
Dopo la morte del padre nel 1849 le due orchestre si unirono in una sola e il giovane Johann ne fu il direttore. Gli fu dato il titolo di “k.k.Hofballmusikdirektor” (che significa: direttore musicale del ballo di corte). Era sempre particolarmente occupato durante il periodo di Carnevale, quando c’erano molti balli a Vienna. Con la sua orchestra girò gran parte dell’Europa, andando anche in Russia dove diresse alcune musiche di Tchaikovsky. Johann Strauss II stava diventando il “re del valzer”, il musicista più famoso in Austria.