Com o Ubuntu é possível através da instalação da ISO Ubuntu-Mini 20.04. Segue o link do post com mais informações.
Ubuntu 20.04 Minimal - mini.iso disponível! - Linux - Diolinux Plus
Infelizmente não há ISO mini para a versão 20.10
Para o debian, você pode utilizar a netinstall.
Debian – Network install from a minimal CD
Após essas instalações, você terá apenas o terminal para trabalhar e instalar os pacotes que desejar. O Dio já fez um vídeo instalando o GNOME do zero utilizando a ISO do Ubuntu Mini. Segue o link:
