No arquivo de configurações do PulseAudio sudo nano /etc/pulse/default.pa você pode tentar definir o dispositivo padrão inserindo o dispositivo que deseja em uma linha como set-default-source SeuDispositivo e depois recarregue o PulseAudio.
Tem mais detalhes do processo no fórum do AskUbuntu.
Vlw pela resposta Lucas. Apesar de sua resposta não ter sido a solução (posso ter feito algo errado), mas ela me deu um norte, baixei o app PuslseAudio Volume Control e consegui resolver o problema com ele
É possível criar uma cópia local desse arquivo e mexer nas configurações sem alterar a configuração padrão. É o método preferível caso tenha poucos usuários no computador ou que usuários desejem características diferentes. O melhor é que não precisa de senha de administrador!