Olá @rasolar tudo beleza? Cara, eu realmente entendo sua frustração com esse tipo de problema.
Meu computador anterior ao atual possuía uma placa Gigabyte que comprei por indicação de amigos e que só me deu dores de cabeça: travamentos, coisas parando de funcionar, portas USB morrendo, etc.
Minha recomendação é esperar pelo lançamento do kernel 5.6 e efetuar novos testes, li uma matéria recente falando que o impacto das mitigações na performance dos processadores seria bastante reduzido à partir deste build. Mas, somente com testes teremos certeza.
Quando planejar seu próximo upgrade, sugiro avaliar o combo Processador AMD, placa-mãe Asus e GPU Nvidia. Essa foi a combinação que mais me deu felicidade ao longo dos meus 30 anos montando computadores.