Olá. Pode ser que seu roteador ou seu pc tenha conexão máxima de 100mb. Se sua internet passar disto, vai ser limitada a conexão física.
Por exemplo: Minha placa de rede tem capacidade de 1Gbit/s. Porém estou limitado a 100Mb/s por causa do meu roteador que é de limitado a essa velocidade. Minha internet é 50Mb, então não tenho problema com isso.
Rode esse comando no terminal para saber seu caso: lshw -c network