Vabadussõjast võttis Holberg osa 1. Ratsapolgu 2. eskadroni nooremohvitseri ja kortermeistrina, alates 1919. aasta aprillist aga 2. eskadroni ülemana. Ta osales lahingutes lõunarindel jaLätis Punaarmee ja Landeswehri vastu. 1920. aasta jaanuaris ülendati Holberg leitnandiks, aprillis alamkapteniks (1924. aastal nimetati tema auaste kapteniks). Holberg pälvis isiklikuvahvuse eest Vabadusristi ja teda autasustati ka Läti Karutapja ordeniga: ta on üks neist, kes aitas 1919. aasta juunis vabastada Põhja-Lätimaa.

Sõjaväest jäi Holberg reservi1920. aasta detsembris ja viis lõpule õigusteaduse õpingud Tartu Ülikoolis. Ta oli korp! Sakala liige.

Pärast ülikooli astus Holberg aktiivsesse poliitikasse, põllumeeste kogude ridadesse, töötades samal ajal vandeadvokaadina. Ta on kuulunud III, IV ja V Riigikogu koosseisu, Rahvuskogu teise kotta ja VI Riigikogu Riiginõukogusse.

1922. aasta kevadel anti Holbergile autasuks tasuta maa Vana-Kuuste mõisast Tartumaal, mis sai nimeks Kuuste talu.

Jaan Tõnissoni valitsuse ajalmäärati Holberg 1927. aasta detsembris kaubandus-tööstusministriks. Samuti kuulus Holberg Sõjanõukogusse, oli PõllumeesteKogude keskjuhatuse liige ja ajalehe „Kaja" vastutav toimetaja.

1941. aasta kevadest varjas Holberg end Pärnumaal, kus tegutses ka metsavennana. 20. aprillil1944 Jüri Uluotsa poolt kokkukutsutud valimiskogusse kuulus Holberg sõjavägede ülemjuhatajana. Saksa okupatsioonilõpupäevil 1944. aasta septembris tehti Holbergile ettepanek asuda Otto Tiefi valitsuse sõjaministriks, kuid ta loobus portfellist ja põgenes Saksamaale.1953. aasta märtsis nimetati ta Augustdorfis moodustatud paralleelvalitsuse (ei tulnud kokku)peaministri asetäitjaks ja sõjaministriks.

Edasi viis elu Holbergi Rootsija Kanadasse. Ta abiellus 1952.aastal Torontos Marta Bootiga,hiljem elas New Yorgis ja Chicagos. Paguluses osales Holberg Eesti Põllumeeste Kogude organiseerimisel, oli Saksamaal Eesti Võitlejate Ühingu asutaja, Rahvusliku Välisvõitluse Nõukogu Kanadas esimees ja EELK Chicago Pauluse kogudusenõukogu esimees. Holberg suri

10. aprillil 1978 Chicagos ja maeti Torontos.