Atualizações
Consegui achar algo que solucionou meu problema. Realizei algumas mudanças porem nada tava dando certo nem mesmo o driver (.run) seguindo a instalação proprietária da NVIDIA.
O driver que parou o congelamento foi o driver open-source da Nvidia, então segue a documentação de instalação dos drivers Nvidia do Debian e troque os pacotes proprietários pelo open-source.
apt install nvidia-open-kernel-dkms nvidia-driver firmware-misc-nonfree
Após isso reinicie o sistema operacional e o driver Nvidia 550.163 será carregado substituindo o nouveau.
Acredito que drivers .run obtidos pela própria da Nvidia também deva funcionar caso você instale ele utilizando a instalação open-source, porem não cheguei a testar.