Osnovno šolo je obiskoval v Zgornji Ščavnici, klasično gimnazijo pa v Mariboru. Na dunajski univerzi je sprva študiral bogoslovje, a je že po enem letu spremenil smer in se posvetil jezikoslovju, slavistiki in germanistiki. Leta 1903 je končal študij z nalogo o prvem slovenskemu slovničarju Adamu Bohoriču. Še istega leta je postal pripravnik na II. gimnaziji v Ljubljani. Leta 1905 je opravil strokovni izpit in tako uradno postal profesor slovenščine in nemščine. Med letoma 1906 in 1909 je moral (verjetno zaradi manjšega prekrška) službovati na gimnaziji v Novem mestu, od leta 1909 do 1925 pa je bil znova profesor v Ljubljani, tokrat na višji državni realki. V letih poučevanja je sestavil dva učbenika za nemščino, ki so ju lahko uporabljali tudi samouki, ter slovarček nemškega in slovenskega jezika. 19. decembra 1925 je postal bibliotekar v takratni Državni biblioteki (današnja Narodna in univerzitetna knjižnica). Prav kmalu (1927) je postal njen ravnatelj in ustanovo vodil vse do upokojitve leta 1946. Tega leta je bil izvoljen za dopisnega člana SAZU. Naslednje leto se je preselil v Gornjo Radgono, kjer je na svojem posestvu živel do smrti.
Knjižničar si je želel postati že v srednji šoli. Kot gimnazijec si je nabiral izkušnje v tem poklicu. Želja se mu je izpolnila sorazmerno pozno, ko se je že izkazal kot bibliograf. Viri navajajo, da je bil kot ravnatelj Državne knjižnice zelo aktiven. Pridobil je veliko sočasne strokovne literature s področja bibliotekarstva in kar nekaj dragocenih bibliofilskih zbirk. Med njegovim vodenjem se je knjižnica preselila v današnjo stavbo, ki jo je arhitekturno zasnoval Jože Plečnik. S strokovnim znanjem in donacijami je pomagal trem drugim knjižnicam, v Ljubljani, Mariboru in Pragi.
Veliko je pisal in objavljal (ocene knjig, razstav idr.). V tem smislu je spremljal sočasno slovensko književnost, več let je bil tudi urednik Ljubljanskega zvona. Od leta 1922 dalje se je posvečal biografijam in predlagal imena za Slovenski biografski leksikon. Pisal je o življenju manj znanih književnih ustvarjalcev vzhodne Štajerske in Prekmurja, med njimi tiskarjev, ki takšne pozornosti niso bili deležni ravno pogosto. Posvečal se je tudi literarni zgodovini in objavil več študij o slovenski književnosti.
V sestavljanje bibliografij ga je uvedel bibliotekar in bibliograf Franc Simonič (njegov kasnejši tast), ko je bil Šlebinger še študent na Dunaju. Panogi se je nato posvečal vse do upokojitve in sestavil številne bibliografije z različnih področij (kmetijstvo, jezikoslovje, literarna zgodovina, likovna umetnost, etnologija, zgodovina). Danes velja za enega izmed najbolj znanih in cenjenih slovenskih bibliografov.
Na hiši v Gornji Radgoni, v kateri sta živela Franc Simonič in Janko Šlebinger, je danes spominska plošča, po Janku Šlebingerju pa je poimenovana tudi radgonska osnovna šola.
Samostojne knjižne izdaje – izbor:
Slovarček nemškega in slovenskega jezika. Ljubljana: Katoliška bukvarna, 1913.
Slovenska bibliografija za l. 1907 – 1912. Ljubljana: Matica Slovenska, 1913.
Nemščina brez učitelja: del 1: nemška slovnica za samouke. Ljubljana: Katoliška bukvarna, 1913.
Nemščina brez učitelja: del 2: slovensko-nemški razgovori v vsakdanjem življenju. Ljubljana: Katoliška bukvarna, 1916.
Album slovenskih književnikov. Ljubljana: Tiskovna zadruga, 1928.
Publikacije Slovenske matice: od leta 1864 do 1930. Ljubljana: Slovenska matica, 1930.
Bibliografija slovenske kmetijske literature 1919 – 1938. Ljubljana: Kmetijska zbornica, 1939.
Pogačnik, J. »Panonski« literarni zgodovinarji: Janko Šlebinger. V: Zadravec, F. (ur.). Panonski zbornik. Murska Sobota: Pomurska založba, 1966, str. 323-324.
Projektni teden na OŠ dr. Janka Šlebingerja v Gornji Radgoni. Ob 120. obletnici rojstva dr. Janka Šlebingerja. Gornja Radgona: Osnovna šola, 1996.
Munda, J. Janko Šlebinger. Enciklopedija Slovenije 13. Ljubljana: Mladinska knjiga, 1999, str. 62.
Kocijan, G. Bibliograf Janko Šlebinger (1876 – 1951). Knjižnica, 2001, let. 45, št. 1-2, str. 7-22.
Kokot, M. (2001). Janko Šlebinger (1876 – 1951): primer bibliopedagoške ure. Šolska knjižnica, 2001, let. 11, št. 4, str. 203-205.
Ilich-Klančnik, B. Habent sua fata libelli : ostanki družinske knjižnice Simonič-Šlebinger v Gornji Radgoni. Knjižnica, 2015, let. 59, št. 3, str. 91-104.
Ilich Klančnik, B. in Stanonik, Z. (ur.). Podobe iz albuma: družine Simonič-Šlebinger. Maribor: Pivec, 2017.