Qual é o hardware exato do seu computador? Se sua placa Nvidia não tem suporte ao driver 450 ou superior, você irá depender de um patch para fazer o driver antigo funcionar com o novo kernel. E a mesma coisa quando outro kernel sair. E assim sucessivamente. Para mais informações: Driver NVIDIA ainda não compatível com Kernel Linux 5.9+ - #5 by KairanD
Para evitar esse problema e não ficar preso a isso, há duas soluções: manter-se no kernel antigo (5.4 LTS) ou trocar de distro (a Canonical prometeu suporte a esses drivers antigos durante mais alguns anos).
Nem coloquei o driver Nouveau como opção porque o desempenho é muito ruim. No caso de notebooks híbridos, é inutilizável (não há suporte ao PRIME como no driver proprietário).
O problema é que a Nvidia não dará suporte ao novo kernel para diversas placas que já tiveram atualizações de drivers encerradas. A GT 740M do meu notebook (que suporta no máximo o driver 418) é um exemplo.