Estou em dúvida em qual usar, gosto bastante do xfce, mas o gnome tem me chamado atenção, uso xfce por ser simples e leve, devo continuar no xfce ou testar o gnome?
Quero algo bem leve e simples, configuração do meu PC:
Intel g630 2.70 GHz
4GB RAM
Nvidia gt 640 1gb
Acho que nessa configuração é mais garantido continuar no XFCE mesmo… O Gnome eu acho meio pesadinho 
da pra vc usar os dois mas se vc optar a usar o gnome e bom desativar as animações.
Levando em conta o seu hardware, recomendo continuar no XFCE. Mesmo com todas as optimizações que foram feitas, a versão mais recente do Gnome ainda utiliza o dobro de memória do XFCE.