A maneira fácil é iniciando o programa paprefs (Geralmente “Preferências do PulseAudio” no lançador de apps) e marcar essa opção (perdão pelo print em inglês, mas deve ser fácil se localizar):
Depois de deslogar e logar/reiniciar o computador, haverá um dispositivo extra (cujo nome vai começar com “Saída Simultânea”) que vai emitir o som ao mesmo tempo para todas as saídas de aúdio conectadas ao PC. Isso pode ser feito por meio do pavucontrol.
Modo manual
Se quiser um pouco mais de controle (por exemplo, sair por bluetooth e HDMI, mas não por alto-falante), o buraco é um pouco mais embaixo, é preciso criar uma saída virtual combinada manualmente. Há pouco mais de um ano eu fiz um pequeno programa para facilitar a criação dessas saídas virtuais* que talvez seja útil aqui. Depois de criar a saída combinada com ele, deve ser possível direcionar os programas para ela e atráves dela para as duas saídas.
*ele precisa de uma atualizada (ele não funciona mais em alguns distros mais modernas que mudaram a infraestrutura de aúdio – não é o caso do Ubuntu, até onde sei).