Algumas das sugestões são “tiling window managers” que ao invés de organizar as janelas dos programas em “janelas” adotando um esquema de “recortes” fatiando o espaço da tela. Este texto fala um pouco sobre TWM e tem links para conteúdos que podem te ajudar.
Já opções como o IceWM são ambientes gráficos alternativos que possuem suas próprias características, mas usam o esquema normal de janelas para organizar os programas.