Josep Grau va arribar a la Penya provinent de l'Agrupació Condal l'any 1951, substituint Lluís Antoja. Grau era considerat un gran estudiós de l'evolució tècnica que s'estava produint en l'esport en aquells anys.

En la seva primera temporada a la Penya va guanyar el Campionat de Catalunya, perdent tan sols un partit dels vint-i-sis que va disputar en aquesta competició durant la temporada. Al campionat d'Espanya només es va perdre també un partit: el de la final a Alacant davant el Reial Madrid, després d'un arbitratge molt casolà i dues pròrrogues.

La temporada següent aconseguia el doblet, guanyant en el mes d'abril el Campionat de Catalunya davant el Barça, i en el mes de maig el Campionat d'Espanya davant el Reial Madrid, en una final disputada a Valladolid. En acabar la temporada seria reemplaçat per Joaquim Broto.

Després d'un anys entrenant a Mataró, la temporada 1959-60 torna a seure a la banqueta de la Penya.

Als anys 50 va ser també entrenador de la selecció catalana.