Basta criar uma nova sink, com o pavucontrol (Controle do volume do pulseaudio) direcionar o Firefox para a entrada virtual, e no OBS capturar essa saída virtual e mutar a do sistema como um todo.
Nem era pra precisar disso, o sistema PulseAudio do Linux realmente permite isolar a saída de cada aplicativo e tem apps de gravação que consegue, mas pelo visto o OBS não tem o código necessário.