Osnovno šolo je obiskoval v Bogojini, gimnazijo pa v Murski Soboti. Po maturi leta 1940 se je vpisal na medicinsko fakulteto v Ljubljani, vendar le za kratek čas, kajti prepisal se je na Visoko bogoslovno šolo v Mariboru. Leta 1941 je moral študij prekiniti in ga nato nadaljeval v Sombotelu, kjer je bil 8. decembra 1944 posvečen v duhovnika. Od tam se je vrnil v rodno Prekmurje. Med leti 1944 in 1948 je bil kaplan v Dokležovju, Dobrovniku in v Turnišču, nato pa je dolga leta deloval v Murski Soboti, sprva kot kaplan ter pozneje kot župnik in dekan v Murski Soboti. Leta 1969 je bil poklican v Maribor, kjer je med drugim opravljal službo stolnega kanonika, člana zbora škofovih svetovalcev, naddekana, stolnega prošta mariborskega stolnega kapitlja in generalnega vikarja. Leta 1976 je doktoriral s tezo Pastoralna dejavnost Ivanocyjevega kroga (promocija 30. januarja 1976). Za mariborskega pomožnega škofa je bil imenovan 25. aprila 1983, posvečen pa 23. maja istega leta. Njegovo škofovsko geslo se je glasilo: »Milosti polna, spomni se«. 18. junija 2009 se je upokojil.
Življenjsko delo mariborskega pomožnega škofa msgr. dr. Jožefa Smeja je obsežno in vsestransko, saj poleg duhovniške in škofovske službe obsega tudi bogat knjižno literarni opus. Poleg pesnjenja se je namreč ukvarjal s pisateljevanjem, prevajanjem, preučevanjem cerkvene zgodovine ter s kulturno preteklostjo in z življenjem ljudi, ki so med Muro in Rabo stoletja ohranjali vero in slovenstvo. Bibliografija njegovih del obsega več kot 150 enot, med katerimi so v veliki meri samostojne knjižne publikacije. Znanstvene razprave so bile največkrat objavljene v Časopisu za zgodovino in narodopisje, v Zgodovinskem časopisu, Slavistični reviji in drugih zbornikih, pogosto pa je objavljal tudi v časopisu Stopinje. Poleg objav izvirnih znanstvenih in leposlovnih del pa je sodeloval tudi pri prevajanju Bogoslužnega molitvenika, Zakonika cerkvenega prava, Svetega pisma stare in nove zaveze ter komentarjev k psalmom. 21. septembra 2014 je v župnijski cerkvi v rodni Bogojini praznoval 70 let duhovniškega posvečenja, t.i. rubinsko oz. železno mašo.
Škofu dr. Jožefu Smeju sta posvečena tudi dva dokumentarna filma. Prvi, ki je bil premierno predvajan oktobra 2016, je nastal na pobudo in s sodelovanjem soboške škofije. Naslov je Kaplja na vedru, kakor je naslov tudi Smejevi pesniški zbirki. Drugega z naslovom Gospod Smej, Dokler smo na zemlji, ne pridemo domov, pa je režiral Aleš Horvat iz Bogojine. Premierno je bil predvajan aprila 2024 v Mariboru in nato predstavljen še v Črenšovcih. V obeh dokumentarcih je škof Smej predstavljen skozi svoje življenje in delovanje.
Bibliografija del msgr. dr. Jožefa Smeja za obdobje 1963-1992, ki jo sestavil Franc Kuzmič, je objavljena v Zborniku soboškega muzeja 3, 1994, str. 131-141. Za obdobje 1992-2001 ter 2002-2014 je bibliografijo msgr. dr. Joežfa Smeja sestavil prav tako Franc Kuzmič in je dostopna na spletni strani Pomurskega muzeja Murska Sobota (gl. Zunanje povezave).
Za raziskovalno dejavnost na področju madžarske literature in prevode klasičnih romanov 19. in 20. stoletja iz madžarščine v slovenščino pa je 8. junija 2015 prejel tudi Madžarski viteški križ kot najvišje madžarsko državno odlikovanje.
Žunec, B. Nevidna univerza: doktorji znanosti iz sveta ob Muri. Murska Sobota: Franc-Franc; Ustanova dr. Šiftarjeva fundacija, 2003.
Sobočan, D. (ur.). Ob 85. življenjskem miljniku škofa dr. Jožefa Smeja. Murska Sobota: Stolna župnija sv. Nikolaja, 2007.
Kerman, B. (ur.). Košičevi dnevi XXVI: Bogojina, Bukovnica, Filovci, Ivanci, Strehovci, 19. avgust – 23. september 2012. Bogojina: Kulturno-umetniško društvo »Jožef Košič«, 2012.
Sobočan, D. Ob 30-letnici škofovskega posvečenja dr. Jožefa Smeja. Maribor: samozaložba J. Smej, 2013.
Baler, I. Prikaz skromnosti in dobrote: dokumentarni film Gospod Smej. Vestnik, 13. jun. 2024, let. 76, št. 24, str. 19.
Jesenšek, M. Mariborski škof Jožef Smej. V: M. Jesenšek: Imenitnost slovenskega jezika. Maribor, 2024, str. 279-296.
Horvat, F. Ljubezen in preživetje, str. 355-364. Ljubljana: Ekslibris, 2025.
Podatke za prvi vpis je dopolnil avtor.
