Po končani italijanski klasični gimnaziji v Tolminu je šolanje nadaljeval na bogoslovju v Gorici. 26. januarja 1936 je bil posvečen v duhovnika in kmalu začel službovati kot kaplan v župniji Cervignano del Friuli. Julija istega leta je bil zaradi protestov slovenskih duhovnikov premeščen v Šmarje na Vipavskem in tam služboval do srede petdesetih let. Zaradi težav in sporov s fašističnimi oblastmi je pokazal simpatije do NOB in septembra 1943 postal član in verski referent Narodno osvobodilnega odbora za Slovensko Primorje. Močno se je angažiral v stanovskem društvu, ki je povezovalo duhovnike po vsej Sloveniji in je pomagalo premoščati težave, ki so nastajale v medsebojnih odnosih v novem družbenem redu. Društvo duhovnikov OF je vodil skupaj z Edkom Ferjančičem, ki se je po grožji apostolskega administratorja Franca Močnika, da mu grozi suspenz, za nekaj časa javno umaknil, Bajt pa je s svojim delom nadaljeval. 2. julija 1948 je ob privolitvi novega goriškega administratorja dr. Mihaela Toroša nastal Odbor duhovnikov OF za Slovensko Primorje, ki je izdajal glasilo Bilten. Bajt se je v odboru angažiral za sekretarja, kasneje pa je isto funkcijo opravljal tudi v Iniciativnem sekretariatu duhovnikov OF za celo Slovenijo. Odbor duhovnikov OF se je septembra 1949 preimenoval v Cirilmetodijsko društvo (CMD) in začel izdajati revijo Nova pot. Bajt je postal predsednik društva in tako postal pomembna osebnost v primorski Cerkvi. Koncilska kongregacija je Bajtu dekret o izobčenju voditeljev CMD poslala tik pred prvim občnim zborom društva. Kmalu zatem je demisioniral kot predsednik društva in se odpovedal župniji. Leta 1955 se je zaposlil v Narodni in univerzitetni knjižnici v Ljubljani in tam delo opravljal vrsto let. 1964. je postal vodja centralnih katalogov, s strokovnimi sestavki pa je sodeloval tudi v knjižničarski reviji Knjižnica.
Enciklopedija Slovenije: Knjiga 1. Ljubljana, 1987
Čipić Rehar, M. Anton Bajt – njegova vloga v povojnem dogajanju v katoliški Cerkvi na Primorskem. V: Kronika: iz zgodovine Goriške, 200, št. 2, str. 403-414
Primorski slovenski biografski leksikon: Snopič 1. Gorica, 1974