Resolvido!
Sinceramente estou a mais de5 anos tentado fazer funcionar, muitas das vezes tinha que voltar para o Windows por conta disso.
Espero que a solução ajude o próximo, por que nunca encontrei algo do tipo.
Vou resumir, tentei instalar manualmente novamente porem uma versao anterior do driver. Surge a tela preta, entrei por linha de comando e removi a NVIDIA, ao logar fiquei com resolução muito baixa e não consegui resolver. Pulei para outra opção, como o POP!OS ja vem com drivers eu baixei para tentar instalar e ao dar boot aparecia a informação de que necessitava carregar o kernel primeiro, busquei no Google e necessitava desabilitar o Secure Boot, o fiz mas mesmo assim nao funcionou para a instalação.
Iniciei a instalação do Kubuntu do zero, ao finalizar tentei instalar a versão 318 bem antiga. TESTES né. bem nem vi depois que nao era compativel , depois pensei, vai dar ruim.
O prime aparecia como das outras vezes mas sem carregar nenhuma configuração. O mbiente começou apresentar erros entao reiniciei. Para minha surpresa e torcendo bastante, surgiu a tela de Login, entrei e estava funcionando, abri o prime com as configurações carregadas, chequei a verção e estava a recomendada e ultima lançada, se me lembro 340.Reiniciei 2x e estava ok. Voltei para Bios e retornei as configurações anteriores ativando o Secure Boot e la estava o problema, nao carregava a placa de video dedicada logo na tela de login, voltei pra Bios e desativei o Secure Boot e Habilitei o UEFI, depois checarei se foi isto mesmo e corrijo se estiver incorreto. Iniciei e a maravilha carregou.
Acontece que o secure boot não deixa carregar alguns drivers por outros sistemas operacionais, acho que forma de segurança ou evitar a instalação de outros sistemas.
Abaixo dois prints, O prime não esta mostrando as configurações avançadas por que Habilitei em “on demand”.
Quis compartilhar para ninguem mais ficar 5 anos ou mais sem saber o porque.
Quanto ao POP!OS não consegui instalar mas ja não preciso mais a não ser que queira testar futuramente como opção.

