Osnovno šolo je obiskoval v Šentjanžu in v Škofji Loki, nato pa postal dijak II. državne gimnazije v Ljubljani, ki jo je obiskoval v letih 1906/07–1914/15. Po končani maturi, ki jo je opravil leta 1915 z odliko, se je vpisal na filozofsko fakulteto univerze na Dunaju. Na Dunaju je študiral samo eno leto, saj je bil že avgusta 1916 vpoklican k vojakom ter postal udeleženec prve svetovne vojne na soški in tirolski fronti. Po odpustu iz vojske konec leta 1918 je nadaljeval študij na univerzi v Zagrebu in ga zaključil leta 1920.
Skoraj ves čas je služboval v Novem mestu. Najprej je bil leta 1920 na novomeški gimnaziji imenovan za suplenta in je poučeval predvsem zgodovino, leta 1924 je bil za tri mesece premeščen na gimnazijo v Kranj, nato pa se je vrnil v Novo mesto, kjer je bil do leta 1931 profesor zgodovine in zemljepisa. S svojo široko razgledanostjo je močno vplival na poklicno pot vrste tedanjih dijakov, ki so se kasneje uveljavili v slovenskem javnem življenju. Številni učenci so ga ohranili v lepem spominu, med njimi je pomembno vplival na bodočega zgodovinarja Frana Zwittra.
V Novem mestu je bil Kovač aktiven tudi na drugih področjih javnega življenja. Bil je tajnik društva Kmetska prosveta, združenja kmetskih prosvetnih delavcev in prijateljev napredka podeželja, v sklopu katerega je organiziral predavanja. Prav tako se je v Sokolskem društvu zavzemal za resno kulturno delo in uvedel debatne večere na temo bratstva in demokracije.
Poročen je bil z Marijo Kozina, ki je na gimnaziji v Novem mestu poučevala slovenščino in francoščino. Njuna hči je bila pisateljica Tita Kovač Artemis.
225 let novomeške gimnazije: 1746–1971. Novo mesto: Gimnazija, 1971, str. 309.
Jarc, J. Jože Kovač. V: Jarčev zbornik: razprave in portreti, 1993, str. 251–255.
Mušič, M.: Novomeška pomlad. Maribor: Založba Obzorja in Novo mesto: Dolenjska založba, 1974, str. 32.
M., A.: Pokoj. Prof. Jožetu Kovaču v spomin. Gruda: mesečnik za ljudsko prosveto, april 1932, let. 9, št. 4, str. 96–97.
