Josep Brunet, «el mestre», es va formar a la pedrera de la Penya, arribant al primer equip la temporada 1949-50. Tal i com el va descriure una vegada el periodista Emili Arnau: "un magnífic jugador però amb una mentalitat especial, alternant actuacions memorables amb altres... menys apreciades".

El 1952 guanya el primer dels tres Campionats de Catalunya consecutius que guanyaria el club. Un any més tard, es proclama campió d'Espanya després de guanyar la final de Valladolid al Reial Madrid, sent el jugador més destacat del partit segons la premsa de l'època.

El 1954 l'equip es classifica per jugar la final del Campionat d'Espanya. Brunet no viatjar a Madrid amb l'equip per la recent mort del seu pare, i ho fa el mateix dia del partit amb avió. Els seus 10 punts a la final no van poder evitar la derrota davant els blancs.

En la temporada 1954-55, malgrat perdre'n diversos importants jugadors que reforçarien altres equips rivals, es va tornar a guanyar el Campionat d'Espanya, novament davant el Reial Madrid, però aquest cop a Barcelona. Brunet, esperonat per les paraules de Francesc Cairó que el va picar amb unes suposades declaracions d'un rival, va ser el màxim anotador de la final amb 21 punts.

El 1957 Brunet guanya el seu quart Campionat de Catalunya. A la primera Lliga Nacional de la història, Brunet va ser el màxim encistellador de l'equip, empatat amb Enseñat, amb 124 punts.

La temporada 1957-58 van remuntar en la final de Copa un marcador advers davant el Reial Madrid, per aixecar la quarta Copa a la història del club, la tercera en el seu palmarès particular, sent Brunet el màxim anotador del partit amb 28 punts.

Degut als problemes de vestidor que s'arrossegarien la temporada 1961-62, Brunet deixaria la Penya a final de temporada i marxaria al Sant Josep.

La temporada 1960-61 compagina les seves funcions de jugador amb les d'entrenador. La temporada 1969-70 torna a la Penya per exercir d'entrenador de pivots, després d'haver pujat el Sant Josep a Primera Nacional un parell d'anys abans, el 1968.

Entre els anys 1951 i 1959 va ser 48 vegades internacional amb la selecció espanyola, aconseguint un total de 319 punts.

També va ser internacional amb la selecció catalana, amb la que va debutar l'any 1950.