Eu tive esse problema há um bom tempo atrás quando eu usava o KDE Neon. Algumas atualizações depois e o problema sumiu. Hoje, tenho de novo o problema após trocar pro Kubuntu.
Aproveitando o tópico do colega sobre o VLC, eu utilizo a versão em Flatpak e tenho notado alguns engasgos na parte de som (a imagem rola normalmente) em arquivos .mkv. Alguém já se deparou com problema parecido?
Segui sua indicação e fui testando esses últimos dias, instalei o MPV/Celluloid via PPA e o desempenho geral foi outro. Muito melhor na minha opinião que o VLC.
Verifiquei na minha instalação e o problema também ocorria. Investiguei e cheguei a conclusão (no meu caso) que o vlc usa aceleração de vídeo quando disponível. A saída de vídeo usada é VDPAU quando disponível.
Porém a implementação do VDPAU com driver AMDGPU não é muito boa. Quando recompilei o vlc sem suporte a VDPAU, o problema sumiu.
Pra quem usa o pacote binário da própria distribuição, a solução é a apresentada pelo @denielt , ou seja, mudar o padrão de saída de vídeo para XVideo.