Tema arvukate teoste hulka kuulub nii suur- kui ka väikevorme, ta on kirjutanud sümfoonilist muusikat (sh kuus sümfooniat), instrumentaalkontserte ja –kammermuusikat, soololaule, hulgaliselt koorimuusikat. Suures osas põhineb Marguste helilooming regilaulul.

1983. aastal pälvis ta Eesti NSV muusika-aastapreemia ja 2012. aastal Eesti Kultuurkapitali aastapreemia. 2013. aastal omistati talle Valgetähe III klassi teenetemärk. 2015. aastal tunnustati teda eesti Muusikanõukogu Heliloomingupreemiaga.