Rodil se je v viničarski oziroma kajžarski družini, očetu Francu Kavčiču in materi Barbari Wurzer. Že v rani mladosti se je preselil k stricu, duhovniku Božidarju Wurzerju, ki se je rad predstavljal tudi kot Matija Korenjak. Obiskoval je klasično gimnazijo v Mariboru. Leta 1899 se je vpisal v mariborsko bogoslovno semenišče, leta 1903 pa je bil posvečen v duhovnika. Po duhovniškem posvečenju je kot kaplan služboval v Sv. Kungoti na Pohorju, Ljubnem, Zgornjem Leskovcu, Sv. Benediktu v Slovenskih goricah, Šentjurju, Framu, Šoštanju, Sv. Juriju ob Taboru. Nikoli pa ni bil župnik. Zaradi slabega zdravja se je leta 1927 upokojil in nato večino časa preživel v Rušah. Po upokojitvi je bil tajnik Katoliške prosvetne zveze in deloval tudi pri duhovniškem društvu Vzajemnost – aktiven je bil na kulturnem in karitativnem področju.
Drugo svetovno vojno je preživel v izgnanstvu na Hrvaškem in v Srbiji (Užiška Požega), kjer je skrbel za izgnane Slovence. Leta 1945 se je skupaj z izseljenci vrnil v Ruše. Iz časa njegovega izgnanstva v Srbiji se je ohranilo več pridig ter učbenik Temelji katoliške religije. Po koncu vojne je znova služboval v Rušah, kjer je skupno od leta 1927 do 1961 opravljal službo župnijskega upravitelja. V Rušah je tudi umrl in je tam pokopan.
S svojo raziskovalno dejavnostjo se je vpisal v zgodovino kraja. Ukvarjal se je s preučevanjem cerkvene, krajevne in gospodarske zgodovine, npr. steklarne, fužine itd. Iz njegovih spisov vejeta skrb za ohranjanje slovenstva in zadržan odnos do tujcev. Ohranjen je obsežen rokopisni opus, ki se večinoma nahaja v ruški župnijski knjižnici. Med gradivom so predvsem pridige, ohranjenih je več kot sto, številne zgodovinske, raziskovalne in polemične razprave ter zapisi o preteklosti Ruš. Bil je prvi, ki je Ruše predstavil celovito, v svojih razmišljanjih pa se je posvečal tudi Pohorju.
Nenatisnjena dela, večinoma pridige, ki se nahajajo v ruški župnijski knjižnici in zapisi, ki jih hrani Nadškofijski arhiv v Mariboru.
Zapisi so razdeljeni na zgodovino cerkve, Ruško latinsko šolo – verske igre, nabožne spise, razne tekste, krajevno zgodovino in zgodovino gospodarskega razvoja.
Kavčič ni pisal z namenom, da bi bila njegova besedila kje objavljena.
Izjema je tekst objavljen v ruškem tovarniškem glasilu Zven Jekla – članek z naslovom “Zbirka iz žitja Ruš in okoline” (objavljen posthumno).
Doživi Ruše: Pohorske steklarne (glažute) (nazadnje dostopano 27. 1. 2026)
Rovi okoli Ruš: skrivnostne zagonetke, lokalne legende in lov za odgovori (nazadnje dostopano 27. 1. 2026)
Urlep, L. Jože(f) Kavčič. Ruše: Lira, društvo za razvoj; Selnica ob Dravi: Javni zavod Center Arnold Tovornik, 2025. (Ruše – tu sem jaz doma (gost))
