Andreu Oller va arribar a la Penya amb 17 anys, l'any 1946, atret per Pepe Vila. Va jugar al Joventut durant set temporades, tot i que tant Raimundo Saporta (Reial Madrid) com directius del Barcelona li van proposar anar als seus respectius clubs moltes vegades.

Durant la seva segona temporada al primer equip, la 1947-48, es va proclamar campió del Campionat d'Espanya, sent la primera vegada que la Penya aconseguia aquest títol. Oller, amb 13 punts, va ser el màxim anotador de la final disputada davant el Reial Madrid.

Va guanyar tres Campionats de Catalunya, les temporades 1948-49, 1951-52 i 1952-53. En aquest darrer campionat, el Joventut derrota a la final el FC Barcelona per un clar 51-35, sent Oller el màxim anotador del partit amb 16 punts.

També l'any 53 torna a guanyar novament el Campionat d'Espanya, aquesta vegada a Valladolid i un cop més davant el Madrid. Oller, capità de l'equip, va tornar a ser el màxim anotador de la Penya a la final anotant 10 punts.

L'estiu de 1953 Massaguer i ell deixen la Penya i fitxen pel Carol de Sabadell, equip que militava a primera categoria regional, la segona categoria de l'època.

Entre els anys 1950 i 1955 va ser convocat 35 vegades per jugar amb la selecció espanyola absoluta. Va disputar el torneig de Niça que servia de qualificació per al Mundial de 1950, jugant per tant el primer Campionat del Món de la història, el que es va disputar a Buenos Aires. També va jugar als Jocs Mediterranis de l'any 1951 a Alexandria i, quatre anys més tard, en els de Barcelona. Allà guanyaria la medalla d'or.

El 1947 també va jugar amb la selecció catalana, enviada al Torneig de Niça per la Federació Espanyola per evitar el bloqueig de les autoritats, tal i com havia succeït als Jocs Olímpics de Londres. En aquella selecció també hi van ser Maneja, Bassó, Gubern i Baró, entre altres, i van acabar en segona posició.