1913. október 16-án született Nyíradonyban, Harangi János vasúti váltóőr és Lukács Zsófia fiaként. Egészen kicsi karonűlő gyerek volt, amikor szülei elváltak és Imre édesanyjával és testvéreivel Budapestre költözött.

Vonzotta a sport, de nem véletlen, hogy az ökölvívást választotta. Úgy vált ökölvívóvá, ahogy annak idején nagyon sok egyszerű gyerek. Sokszor megverték, ezért elhatározta, hogy egyszer még visszaadja. Az apró termetű legény jelentkezett a MÁVAG edzőjénél, Csányi Jánosnál. Ekkor vette kezdetét egy csodálatos sportolói pályafutás.

Már 1929-ben ifjúsági magyar bajnokságot nyert, aztán egymás után még kettőt. Közben bekerült a válogatott keretbe, és rövidesen úgy emlegették, mint az 1932-es olimpia népszerű ökölvívó bajnok Énekes István utódját.