Joao Havelange urodził się 8 maja 1916 roku w Rio de Janeiro w rodzinie belgijskiego pochodzenia. Ukończył studia prawnicze. Od młodych lat był związany ze sportem. Uprawiał pływanie i waterpolo, dwukrotnie wystąpił na igrzyskach olimpijskich - w 1936 roku w Berlinie i w 1952 roku w Helsinkach.
Karierę działacza sportowego rozpoczął w latach 50. jako działacz brazylijskiej federacji pływackiej, prezesem Brazylijskiej Konfederacji Sportowej, członkiem Brazylijskiego Komitetu Olimpijskiego. W 1958 został prezesem brazylijskiej konfederacji sportu, a w 1963 członkiem Międzynarodowego Komitetu Olimpijskiego.
W czerwcu 1974 stanął na czele federacji piłkarskiej FIFA jako pierwszy przewodniczący spoza Europy. W 1998 zastąpił go Sepp Blatter. Joao Havelange pozostał honorowym przewodniczącym.