Rodil se je Martinu in Tereziji, ki sta bila premožna posestnika. Jožef je obiskoval osnovno šolo pri Svetem Martinu v Stražišču in v Kranju, gimnazijo pa v Ljubljani. Šolanje je nadaljeval v bogoslovju v Celovcu in bil posvečen v duhovnika 4. avgusta 1835.
22. aprila 1842 je Rozman postal župnik pri Svetem Rupertu v Brezah. Leta 1848 je dobil kanonat pri Svetem Andražu na Koroškem, kjer je bil umeščen kot knezoškofijski svetovalec. Leta 1850 je postal ravnatelj bogoslovja in učitelj katehetike in pedagogike. Po smrti konjiškega nadžupnika je 23. aprila 1859 prevzel konjiško nadžupnijo. V petnajstletnem nadžupnikovanju v Konjicah je Rozman izredno veliko obnavljal in popravljal v cerkvi, župnišču in gospodarskih poslopjih.
Veliko svojega časa je posvetil literarnemu ustvarjanju. Pisati je začel kot mlad bogoslovec in Slomškov učenec ter priredil knjižico Prijetne povesti. Kot kanonik je sodeloval pri Drobtinicah s prispevki nabožne in zgodovinske vsebine. Napisal je Krščanski katoliški nauk okrajšan, ki je bil šolsko čtivo. Izdal je Cvetje krščanoslovenske zemlje in bil marljiv dopisnik v številne slovenske in nemške časopise. Kot konjiški nadžupnik je Rozman zbral veliko gradiva za spominsko knjigo konjiške nadfare in dekanije, ki jo je tudi sam osnoval.
I.Skuhala: Jožef Rozman, Kn. šk. konzistorialni svetovalec, častni korar Lavantinske stolne cerkve, dekan in nadžupan Konjiški: izgled pravega dušnega pastirja in krščanskega rodoljuba, Maribor 1847
