A principal vantagem dele é permitir brincar com configurações que exploram os limites do conceito de “Linux de desktop” (por exemplo, trocar bibliotecas ou programas chave do sistema ou remover software que é crucial nas demais distribuições). Só compilando localmente que dá para manter minimamente estável um sistema com requisitos bem específicos, e o Portage é extremamente competente. Não é à toa que o Gentoo está entre as principais escolhas dos “escovadores de bits” obcecados em abaixar o consumo de RAM.
O argumento de velocidade é um pouco ilusório. O @freeQ já falou, os computadores que mais se beneficiam de compilação ajustada não conseguem compilar os pacotes em tempo hábil para a distribuição ser prática. Adiciono que muitas distros binárias já estão começando a oferecer a opção de repositórios pré-otimizados (como o ALHP), minimizando essa distância.
Já dei meu veredito sobre atualizações no Gentoo em outro tópico.
Há opção também de pacotes binários para o Gentoo – apesar de você sacrificar, em parte, a possibilidade de customização da base do sistema – ou você concorda com as chaves de compilação que vêm neles, ou compila você mesmo.