Sein Vater wollte, dass er ins Bankgeschäft einsteigt, aber der junge Johann nahm heimlich Geigenunterricht bei einem Mann namens Franz Amon, der das Orchester seines Vaters leitete. Er setzte sein Geigenstudium bei Anton Kohlmann fort, einem Geiger, der Balletttänzern half, die Musik zu lernen, zu der sie tanzen mussten. Er war erst 18 Jahre alt, als er sein eigenes Orchester zusammenstellte und ein eigenes Konzert gab, das sechs seiner eigenen Walzer und einige seines Vaters enthielt. Er wurde bald berühmter als sein Vater.
Nach dem Tod seines Vaters im Jahr 1849 schlossen sich die beiden Orchester zu einem zusammen und der junge Johann war ihr Dirigent. Er erhielt den Titel „k.k.Hofballmusikdirektor“. Besonders beschäftigt war er immer zur Faschingszeit, wenn in Wien viele Bälle stattfanden. Mit seinem Orchester bereiste er fast ganz Europa und ging sogar nach Russland, wo er einige Werke von Tschaikowsky dirigierte. Johann Strauß II. wurde zum „König des Walzers“, zum berühmtesten Musiker Österreichs.