Osnovno šolo je končal v Hrastniku, gimnazijo v Celju. Zaposlen je v Športni enoti Slovenske vojske. Z veslanjem se je pričel ukvarjati leta 1990 kot član Brodarskega kluba Hrastnik. Njegova disciplina je slalom na divjih vodah v kategoriji K-1. Trenira ga njegov oče, Peter Kauzer starejši, tudi sam nekoč vrhunski kajakaš.
V svoji disciplini je postal svetovni prvak leta 2009 in 2011, evropski prvak leta 2010, 2018. Leta 2009 in 2011 je bil zmagovalec skupnega seštevka svetovnega pokala v svoji kategoriji. Bil je član slovenske ekipe, ki je osvojila bronasto medaljo na svetovnem prvenstvu leta 2005 in 2017, ter član slovenske ekipe evropskih prvakov leta 2005, 2006, 2007, 2011. Udeležil se je poletnih olimpijskih iger v Pekingu 2008 (13. mesto) in v Londonu 2012 (6. mesto), kjer je bil tudi zastavonoša Republike Slovenije na otvoritveni slovesnosti. Posebno mesto v njegovi karieri imajo poletne olimpijske igre v Riu de Janeiru 2016, kjer si je priboril srebrno medaljo. Njemu na čast sta Občina Hrastnik in Brodarsko društvo Steklarna Hrastnik pripravila velik sprejem pred Delavskim domom v Hrastniku.
Člani Društva športnih novinarjev Slovenije so ga za športne dosežke nagradili z nazivom Športnik leta 2011. Večkrat je bil nominiran in izbran za najboljšega kajakaša Slovenije. Kauzer je tudi častni občan Občine Hrastnik od leta 2006.
- Športnik leta 2011
- častni občan Občine Hrastnik, 2006
Osebni pogovor