Olá, recentemente comecei a me aprofundar no Linux e estou usando o Arch Linux com KDE Plasma em um PC com Ryzen 5 5600X, 16 GB de RAM (mais 12 GB de swap) e uma GTX 1660 Super. Tenho usado o sistema com X11, pois o Wayland me apresenta diversos problemas como artefatos visuais, travamentos completos e crashes em aplicativos após um tempo de uso. Apesar de mais estável, o X11 tem me trazido problemas de desempenho, como fluidez inferior, maior consumo de hardware e pequenos travamentos — problemas que não percebi no pouco tempo que usei o Wayland. Gostaria de saber se existe alguma forma de otimizar o X11 para que ele tenha uma performance mais próxima da do Wayland ou se há como configurar o Wayland para funcionar corretamente nesse hardware, já que tentei várias soluções encontradas em fóruns e na documentação, mas nenhuma resolveu completamente e algumas até criaram novos problemas.
Já tentou seguir a página da wiki? Provavelmente você não configurou o sistema corretamente.
O seu problema é basicamente o clássico conflito entre NVIDIA e Wayland. A GTX 1660 Super é uma boa placa, mas o driver proprietário da NVIDIA ainda não funciona bem com Wayland, apesar dos avanços recentes. Os travamentos, artefatos e crashes que você viu são sintomas comuns dessa má integração. Isso ocorre porque a NVIDIA durante anos insistiu em usar o EGLStreams ao invés do padrão GBM, que é o que os principais compositores (como o do KDE Plasma) usam.
Sobre o X11: é mais estável com NVIDIA, mas também tem limitações. Você pode tentar otimizar o desempenho ajustando algumas coisas no KDE, como usar o compositor com OpenGL 3.1, desabilitar o vsync do compositor e ativar o TripleBuffer no arquivo de configuração do Xorg. Também vale a pena testar o driver nvidia-dkms com o kernel linux-lts, que às vezes é mais estável.
Sobre usar Wayland com NVIDIA, o caminho mais promissor hoje exige driver 535 ou superior e KDE Plasma 6. Mesmo assim, nem tudo funciona direito. Alguns apps como OBS, Electron e jogos ainda apresentam problemas. No geral, é possível fazer funcionar, mas dá trabalho, e nem sempre a estabilidade compensa.
A verdade é que a limitação está mais no driver da NVIDIA do que no Linux ou no Wayland. Se um dia pensar em trocar de GPU, considere uma AMD — o suporte open source deles funciona muito melhor com Linux, tanto no X11 quanto no Wayland.
Até lá, o X11 com ajustes segue sendo a rota mais segura para quem usa NVIDIA.
No Arch use o kernel LTS para aumentar sua sorte com a Nvidia.
Quando eu estava no Arch Puro, antes de mudar para o EndeavourOS, eu usava o nvidia-dkms e não tive nenhum problema de travamentos ou artefatos ou sistema travando por inteiro.
Sugiro seguir o wiki para configurar a Nvidia corretamente e utilizar o nvidia-dkms.
Outra dica é deixar seu swap em no max 2GB, não precisa de tudo isso com 16GB de RAM.