Na prática drivers são de fato o único fator. A indústria de celulares realmente não possui um forte padrão de perifériocos/barramentos, etc.
Cada modelo é tipo uma coisa exótica tal como são os novos Macs em relação ao mercado em que estão inseridos, um aparelho com coisas completamente fora do padrão, chips exóticos com funções exóticas, acessórios exóticos próprios para o modelo, etc.
Esse fator/cultura de mercado costuma torna os drivers nessa industria excepcionalmente estratégicos em termos de propriedade intelectual.
Da mesma forma isso em alguns casos cria tudo que é tipo de problemas severos quando drivers estão ausentes ou são substituídos por algo mais genérico, como inutilização do hardware, já que como não é um padrão, a fabricante não se preocupa em desenvolver o projeto considerando a ausência do driver, ou algo mais robusto, como um firmware autônomo e mais independente do OS.