Po osnovni šoli v domačem kraju je obiskoval gimnazijo v Ljubljani (1886-94). Že kot dijak je obvladoval matematiko na profesorski ravni. Takoj po maturi je šel na dunajsko filozofsko fakulteto študirat matematiko, fiziko in astronomijo. Leta 1898 je končal študij z disertacijo s področja diferencialnih enačb. Te enačbe in pa integralne ter potencialna in funkcijska teorija so bila glavna področja njegovega znanstvenega dela. Še isto leto je bil postavljen za računarja v »Gradmessungsbureau« na Dunaju. Nato je študiral po eno leto v Berlinu in Göttingenu, kjer se je začel ukvarjati z Riemannovim problemom.
Leta 1902 je postal privatni docent na univerzi na Dunaju. Leta 1906 je postal asistent na tehniški visoki šoli. Isto leto je objavil svojo dokončno rešitev Riemannovega problema. Leta 1907 je bil pozvan na univerzo v Černovicah (Ukrajina), kjer je prevzel mesto izrednega profesorja, leto pozneje pa je bil imenovan za rednega profesorja. Leta 1911 so mu podelili nagrado za dosežke v potencialni teoriji. V šolskem letu 1912/13 je bil dekan filozofske fakultete v Černovicah. Tedaj se je uspešno ukvarjal s funkcionalno teorijo, a to je bil, po desetletnem bleščečem delu, tudi konec njegovega najbolj ustvarjalnega obdobja.
Po 1. svetovni vojni je živel v Ljubljani. Leta 1919 je postal redni profesor na univerzi v Ljubljani in v šolskem letu 1919/20 je bil njen prvi rektor. Tam je ostal profesor matematike do leta 1957 (najprej na filozofski fakulteti nato pa na naravoslovni). Leta 1965 je v angleščini izšel izbor njegovih najboljših del in že v naslovu so vnovič omenili njegovo rešitev Riemannovega problema. Bil je član SAZU (redni od 1938), član JAZU (dopisni od 1923), član SANU 1930, Bavarske AZ v Münchenu 1954.
Problems in the Sense of Riemann and Klein, 1964
Algebra in teorija števil, 1962
Diferencialne in integralne enačbe, 1960
Teorija analitičnih funkcij, 1953
Iz mojega življenja in dela, 1951
Potentialtheoretische Untersuchungen, 1911
Leta 1963 mu je ljubljanska univerza, ob njegovi 90. letnici rojstva, podelila častni doktorat.
Leta 1954 mu je bila podeljena Prešernova nagrada.
S. Južnič in M.Prosen: Prof. dr. Josip Plemelj, v prejšnjem stoletju dolga desetletja vodilni ljubljanski matematik se je ukvarjal tudi z astronomijo, Proteus jan.2006, št. 5, str. 215-218
T. Dekleva: Dr. Josip Plemelj : 1919-1920 : 1. rektor, Univerza v Ljubljani in njeni rektorji , Ljubljana 2006
M. Naglič: Po ljudeh gor, po ljudeh dol. Del 454, Dlje ko greš, dlje ti kaže : podlistek o znamenitih Gorenjcih, Gorenjski glas 2003, št. 5 (17. jan.), str. 7
S. Sitar: Josip Plemelj, matematik (1873-1964) : dokončna rešitev Riemannovega problema, Znameniti Slovenci, Ljubljana 2000, str. 192-193
V. Domajnko: Josip Plemelj, Gea december 1998, št. 12, str. 54-55
M. Drnovšek: Plemljeve formule in Riemannov problem, Slovenska kronika XX. stoletja, Ljubljana : Nova revija, 1995-1996, str. 93
S. Sitar: V Plemljevem letu : ob 120-letnici velikega slovenskega matematika, Prešernov koledar 1993, str. 144-147
S. Sitar: Matematika kot umetniški užitek : ob 25-letnici smrti Josipa Plemlja, Slovenec 1992, št. 107 (12.V.), str. 21
I. Vidav: Josip Plemelj : ob stoletnici rojstva, Ljubljana 1973, 1975
F. Križanič: Ob devetdesetletnici akademika prof. dr. Josipa Plemlja, Proteus 1963/64, št. 4/5, str. 97
