Rodil se je Andreju in Jožefini Seethal. Oče je bil upravnik Zoisovih fužin v Bohinju. Gimnazijski študij je uspešno zaključil v letih 1809-1815 v Ljubljani. Čez dve leti je diplomiral na gozdarski šoli v Mariabrunnu na Dunaju. Nato je bil eno leto pripravnik pri ljubljanskem okrožnem uradu. Od leta 1821 do verjetno 1829 je bil distriktni gozdar v celjskem okrožju, na službi v Mozirju. Kot vodja Gozdnega urada v Gorici (1844-64) je po smrti Josefa Ressla nadaljeval njegovo delo pri ureditvi Trnovskega gozda. Leta 1860 je dokončal projektiranje in izgradnjo druge ceste v Trnovski gozd, od Solkana do Trnovega. Leta 1859 je na prošnjo tržaškega občinskega sveta uspešno vodil pogozdovanje dela kraškega ozemlja med Bazovico in Trstom s črnim borom in postavil temelje za sistematično pogozdovanje Krasa. Novost, ki jo je v gospodarjenju z gozdovi vpeljal mladi gozdarski inženir, je bila tudi ta, da je načrtoval letni posek gozda do količine enega odstotka od vse lesne mase. Izračunal je, da naravni letni prirastek zapolni količino posekanega lesu. Kot gozdni in rentni mojster v Gorici je bil v letih 1955-1959 član Deželne komisije za odvezo in regulacijo zemljiških bremen za mesto Trst z okolico in za Primorje.
Leta 1850 in nato še nekaj naslednjih let je bil predsednik izpraševalne komisije za izpit kandidatov za samostojno gozdno gospodarstvo kot tudi kandidatov za izpit za gozdnotehnično pomožno službo. Iz spisov finančnega ministrstva za leto 1860 je razvidno, da je Koller hudo bolehal za protinom in da mu nobena zdravila niso pomagala. Po mnenju zdravnika bi moral opustiti vsa telesna in duševna dela ter oditi v toplice v Laško. Že leta 1863 so ga hoteli upokojiti, ker so ugotovili, da je pomanjkljivo vodil administracijo gozdnega urada in da je imel velike zaostanke v knjigovodstvu. Leta 1864 je bil razrešen vodenja Gozdnega urada v Gorici, leta 1865 pa še delovanja v zadevah zemljiške odveze. Za svoje delo je bil pohvaljen in nagrajen s 500 goldinarji ter nato še upokojen.
Uradništvo Direkcije državnih gozdov in domen v Gorici je Kollerju v Solkanu postavilo spominsko ploščo s slovenskim in nemškim napisom. Plošča je bila slovesno odkrita 5. maja 1875. Leta 1919 je bila prekrita z betonskim premazom, jeseni 1957 pa po odstranitvi premaza ponovno odkrita. Koller je napisal več člankov, objavljenih v Bleiweisovih Novicah kmetijskih, rokodelskih in narodnih reči. Napisani so v slabi slovenščini, ker jih je verjetno nekdo drug prevedel iz nemškega originala. Strokovne članke je objavljal tudi v nemških in avstrijskih gozdarskih revijah in časnikih. Poročen je bil z Marijo Divjakovo, s katero je imel sedem otrok. Poznana sinova sta svetnik finančne prokurature na Dunaju dr. Peter Koller in notar v Kanalu ob Soči dr. Johann Koller.
Osebnosti od A do L, Ljubljana 2008, str.501
B. Marušič: Koller Jožef, Gorica 1982, knjiga 2, snopič 8, str. 105-106
F. Sevnik: Jožef Koller (1789-1870), Naši znameniti tehniki, Ljubljana 1966, str. 74-77
A. Sivic: Jožef Koller, Gozdarski leksikon, Ljubljana 1959, št. 7-8, str. 255 in 256