Po končani mariborski gimnaziji se je zaradi navdušenja nad vojaškim poklicem vpisal na Vojaško akademijo v Beogradu. Študij je prekinila kratka vojna epizoda, kateri je spomladi leta 1941 sledilo ujetništvo, prisilno delo, mobilizacija in končni pobeg iz nemške vojske. Po osvoboditvi se je odrekel vojaškemu poklicu in se zaposlil kot tehnični risar v elektrarni Mariborski otok. Po petih letih vztrajanja v delu, ki ga ni veselilo, se je odločil za študij umetnostne zgodovine na ljubljanski Filozofski fakulteti. Na temo baročnega kiparstva v Mariboru je uspešno diplomiral leta 1954. Še istega leta se je kot kustos zaposlil v mariborskem Pokrajinskem muzeju. Leta 1963 je prevzel muzejsko krmilo in ga kot tretji ravnatelj vodil vse do svoje upokojitve leta 1988.
Na začetku svoje strokovne poti se je podal v še neraziskan svet baročnega kiparstva. Bil je prvi slovenski umetnostni zgodovinar, ki je pregledal ter natančno analiziral celotno baročno kiparsko gradivo, zbrano v številnih cerkvah in muzejih po vsej Sloveniji. Ugotovitve s terena je nadgradil s proučevanjem arhivskega gradiva. Napisal je mnoga temeljna dela, po katerih še danes posegajo proučevalci baročnega kiparstva na Slovenskem.
Z enako vnemo kot baročnemu kiparstvu se je posvečal tudi kulturni zgodovini. Bil je prvi, ki je sistematično obdelal modna oblačila in uniforme na Slovenskem. Svoje izsledke proučevanja zgodovinskih oblačil, ki jih je pričel raziskovati že v času svojega službovanja pri Triglav filmu, je javnosti predstavil v okviru različnih specializiranih razstav, ki jih je dopolnil s katalogi. Poleg teoretičnega dela je opravil tudi veliko praktično delo, saj je v času svojega službovanja v Pokrajinskem muzeju Maribor zbral, uredil in na ogled postavil stalno zbirko modnih oblačil in uniform, ki velja za prvo in edino tovrstno zbirko na Slovenskem. Svoje znanje s področja kostumologije je širil kot profesor na višjem in visokošolskem študiju Oblikovanje tekstilij in oblačil. Bil je svetovalec gledališkim in filmskim kostumografom ter izvrsten risar.
Kot vsestranski umetnostni zgodovinar se je nenehno zavzemal za varovanje kulturne dediščine. Na tem področju je bil zelo dejaven že vse od svojega prihoda v mariborski Pokrajinski muzej, ko so mu bile za nekaj let zaupane naloge okrajnega spomeniškega konservatorja. Svoje izkušnje in spomeniškovarstvena spoznanja je dve desetletji predajal študentom na Katedri za muzeologijo in konservatorstvo na ljubljanski Filozofski fakulteti. Bil je član mnogih uredniških odborov in aktiven tudi na stanovskem društvenem področju.
Ob številnih znanstvenih in strokovnih monografijah je rezultate svojega raziskovalnega dela objavljal tudi v strokovni periodiki, lokalnih zbornikih in razstavnih katalogih. Bil je eden izmed najpomembnejših piscev zbirke Kulturni in naravni spomeniki Slovenije, v katero je prispeval kar devet zvezkov. Veliko pozornosti je posvečal poljudnim objavam v časopisju, na radiu in televiziji, saj je želel kulturne spomenike približati širši množici. Z veliko vnemo se je posvečal takratni likovni produkciji in v številnih člankih sledil likovnemu dogajanju na širšem mariborskem območju.
Izbor najpomembnejših monografij:
Maribor v barvah mojega časa, 2002
Finfarji: štajersko-koroško-kranjski dragonski polk št. 5, 2000
Jožef Holzinger, 1997
Maribor: po poteh stare umetnosti, 1993
Uniforme v zgodovini II: civilne uniforme na Slovenskem, 1991
Uniforme v zgodovini: Slovenija in sosednje dežele, 1987
Baročno kiparstvo na Primorskem, 1983
Baročno kiparstvo v osrednji Sloveniji, 1976
Baročno kiparstvo, 1967
Baročno kiparstvo na slovenskem Štajerskem, 1963
Med drugim je prejel priznanja vseh treh stanovskih društev, v katerih se zbirajo slovenski umetnostni zgodovinarji. Muzealci so mu podelili Valvasorjevo nagrado (1974), konservatorji Steletovo (2001), dve leti kasneje pa je prejel še nagrado za življenjsko delo, poimenovano po slovenskem umetnostnem zgodovinarju Izidorju Cankarju.
- Hajdinjak, B., Koren, M. in Vidmar, P. Sergej Vrišer: spominsko srečanje ob devetdesetletnici rojstva dr. Sergeja Vrišerja. Maribor: Pokrajinski muzej: Prva gimnazija, 2010.
- Cevc, E. Vrišer, Sergej. V: Enciklopedija Slovenije: 14: U-We. Ljubljana: Mladinska knjiga, 2000, str. 389.
- Ciglenečki, M. Sergej Vrišer: Ljubljana, 9. november 1920 – Maribor, 28. maj 2004. Zbornik za umetnostno zgodovino, 2004, letn. 40, str. 367-372. Dostopno tudi na: http://www.suzd.si/images/stories/pdf/st_40/21_ciglenecki.pdf.
- Ciglenečki, M. Profesor dr. Sergej Vrišer ob osemdesetletnici. Časopis za zgodovino in narodopisje, 2000, letn. 71, št. 4, str. 507-511. Dostopno tudi na: http://hdl.handle.net/11686/8573.
- Koren, M. Barok. Moda. Uniforme. Večer, 9. nov. 2010, letn. 66, št. 260, str. 14.
- Vrišer, S. in Klipšteter, O. Miroljubnež, ki ima rad uniforme: dr. Sergej Vrišer. Mariborčan, dec. 2003, letn. 9, št. 98, str. 38-42.
- Žnidarič, M. Dr. Sergej Vrišer (1920-2004). Časopis za zgodovino in narodopisje, 2004, letn. 75, št. 2-3, str. 205-209. Dostopno tudi na: http://hdl.handle.net/11686/8706.
- Žvanut, M. Prof. dr. Sergej Vrišer – sedemdesetletnik. Kronika, 1991, letn. 39, št. 1/2, str. 84-85. Dostopno tudi na: http://www.dlib.si/?URN=URN:NBN:SI:DOC-E3E6CK51.
- Cevc, E. Vrišer, Sergej (1920–2004). Slovenska biografija (spletno mesto). Ljubljana: SAZU, ZRC SAZU, 2013. Pridobljeno 22. 6. 2018 s spletne strani: http://www.slovenska-biografija.si/oseba/sbi823978/.