Osnovno šolo je obiskoval v Gorjah in na Bledu. Med leti 1846-54 je obiskoval gimnazijo v Ljubljani. Nekaj časa je bil gojenec Alojzijevišča. Končal je Orientalsko akademijo na Dunaju. Od leta 1859 dalje je bil v konzularni službi. Leta 1869 je postal konzul v Aleksandriji. Ob otvoritvi Sueškega prekopa je pripravil obisk cesarja Franca Jožefa in dobil naslov vitez. Leta 1870 je bil konzul v Carigradu. Bil je odličen poznavalec orientalnih razmer. Na svetovni razstavi na Dunaju leta 1873 je vodil orientalski oddelek. Nato je osnoval orientalski muzej, ki ga je kasneje preimenoval v trgovski muzej. Leta 1908 mu je dodal še eksportno akademijo. Od leta 1873 dalje je bil zaposlen v Andrassyjevem zunanjem ministrstvu, kjer se je ukvarjal z ekonomskimi vprašanji. Pečal se je tudi z obnovitvijo stikov Avstro-ogrske z orientom in za trgovino z balkanskimi državami in Rusijo. Leta 1875 je, kot član spremstva cesarja Franca Jožefa, obiskal Rusijo. Leta 1878 se je udeležil tudi Berlinskega kongresa, na katerem je obravnaval vprašanja Orienta in Balkana. Nastopal je proti ruskemu diplomatu grofu Ignjatevu, ki je zagovarjal interese Bolgarije. Srbe je pridobil za pirotsko in vransko okrožje, pripravljal je zbližanje južnoslovanskih narodov. Z Ristićem je sklenil trgovsko pogodbo, ki pa mu jo je vlada odklonila. Leta 1880 je izstopil iz diplomatske službe.
V notranji politiki je bil med leti 1880-1905 poslanec v državnem zboru. Slovel je kot poznavalec finančnih, trgovskih in prometnih razmer. V državnem zboru je bil vodja ustavovernih veleposestnikov. Med leti 1884-1913 je bil tudi poslanec v deželnem zboru, v katerem je zagovarjal tkim. »kranjsko« politiko. Zavzemal se je za izgradnjo dolenjske, kamniške in tržiške železniške proge. Dosegel je, da bohinjska proga ni šla čez Predel. V devetdesetih letih 19. stoletja je utemeljeval potrebo po slovenski univerzi.
Vodil je velike denarne zavode na Dunaju in v Budimpešti. Bil je častni meščan Ljubljane ter drugih mest in trgov na Kranjskem. Milijon zlatih kron je zapustil v oporoki za kulturne potrebe na Kranjskem. Literarno se je začel udejstvovati v času, ko je bil gojenec Alojzijevišča. Tam se je družil s F. Levstikom, F. Erjavcem in J. Stritarjem. Svoje prvence je objavljal v Slovenski daničici in Slaviji, kasneje pa tudi v Slovenski bčeli, Novicah, Zori Jugoslovenki in drugje. Pisal je pesmi in prozo, etnografske, zemljepisne in prirodopisne prispevke. Objavljal je tudi pod psevdonimom Josip Radonievič. Leta 1875 je dobil plemiški naslov baron.
Na gomili Daničice, Slavija 1851
Bučelni pik, Slovenska Bčela 1851 (pesem so pripisovali tudi S. Jenku!)
Na cesarjev ukaz, 2004 (spomini)
M. Rugále, M. Preinfalk: Blagoslovljeni in prekleti. Del 1, Plemiške rodbine 19. in 20. stoletja na Slovenskem, Ljubljana 2010, 170-173
T. Kajfež: Josef Schwegel (1836-1914) – his ten years in Egypt, Egypt’s heritage in Europe, 2009, str. 35-42
Osebnosti, od M do Ž, Ljubljana 2008, str.1008
F. Rozman: Baron Schwegel in berlinski kongres, Spomini in pisma = Erinnerungen und Briefe, 2007, str. 109-122, 299-315
F. Rozman (prevedel, uredil in spremno besedo napisal) : Na cesarjev ukaz : spomini politika in diplomata / Josef Schwegel, Ljubljana 2004
A. Rant: Medalja barona Jožefa Schwegla, diplomata, gospodarstvenika in politika (1836-1914), Numizmatični vestnik 2002/2003, št. 30, str. 833-835
Enciklopedija Slovenije, 11. zvezek, 1997
F. Rozman: Baron Schwegel v svojih spominih, Kronika 1984, str. 223
Slovenski biografski leksikon, 10. zvezek, Ljubljana 1967