Josep Gubern va jugar al Joventut durant quinze temporades.

Va ser un destacat i temperamental davanter que va formar part de l'equip que va participar per primera vegada en una competició oficial després de la Guerra Civil: el Campionat de Catalunya B de la temporada 1939-40. La temporada següent es va proclamar campió de la segona categoria, assolint l'ascens a la primera divisió.

El 1942 va formar part del CD Ceutí, un equip format majoritàriament per jugadors catalans desplaçats a Ceuta per realitzar el servei militar. El seu equip va guanyar el I Campionat del Marroc, classificant-se per jugar el Campionat d'Espanya.

Va ser capità de l'equip que va aconseguir el primer Campionat d'Espanya l'any 1948, a Burgos, i que la temporada següent es va alçar amb el Campionat de Catalunya. Aquella mateixa temporada, Maneja i ell es van negar a sortir a l'entrega de trofeus del Campionat d'Espanya, indignats pel robatori arbitral sofert en el darrer i decisiu partit, i van sofrir una desqualificació de sis mesos.

El 1952 va tornar a guanyar un altre Campionat de Catalunya, títol que repetiria el 1953, el mateix any que també es va guanyar la Copa del Generalíssim. Aquesta temporada, la 52-53, va ser la seva darrera com a jugador de la Penya.

Va pertànyer a la Junta Gestora de l'any 1939, i l'any 1940 va ser un ferm defensor de la continuïtat del club com entitat, en front de la possible absorció per part del CF Badalona. També formà part de la gestora nomenada per la delegació local de la Falange que va preparar els nous estatuts post-guerra, aprovats l'1 de març de 1941.

Va ser internacional amb la selecció catalana en dues ocasions, jugant a Paris i a Niça. Una d'aquestes va ser el 1947, quan va jugar amb la selecció catalana enviada al Torneig de Niça per la Federació Espanyola per evitar el bloqueig de les autoritats, tal i com havia succeït als Jocs Olímpics de Londres. En aquella selecció també hi van ser Maneja, Oller, Bassó i Baró, entre altres, i van acabar en segona posició.