Como tirar essa ideia do papel

Redes, Servidores e Internet
1

Estou com uma idéia de criar um site para disponibilizar alguns dados, porém estou com algumas dúvidas sobre infra-estrutura do serviço, como é meu primeiro grande projeto não sei muito bem ainda como posso tirar isso do papel.

  • Tenho uma base de dados de + de 90 GB e queria fazer consultas por essa base em algum servidor online para não precisar ficar diretamente no meu site.
  • Queria também conseguir exportar todos os dados de uma vez só, pois fiz até um script em python para subir de 1 por 1 para um db do xampp só para protótipo mas ví q n era viável pois ele estoura em 2.9 mi de itens e a base de dados tem + de 47mi
  • Qual melhor site para registrar domínio e comprar uma hospedagem que aguente uma boa quantidade de dados sem muita latência.

Por hora essas são as dúvidas, fico grato desde de já a todo que me possam me ajudar.

2

Para comprar dominios recomendo o hostgator, tem vários planos de hospedagem, sempre com muita segurança. N sei se sabe mas este site está hospedado lá.

3

Você está descrevendo uma API, possivelmente uma API REST.

Praticamente todos sites sobre o Corona são baseados em APIs desse tipo, que retornam um JSON com as informações armazenadas pelas instituições de saúde. Aqui tem um monte de exemplos: https://covid-19-apis.postman.com/

Um outro exemplo disso é a API REST do sistema DSpace (Um repositório digital muito utilizado por bibliotecas e instituições). Inclusive na próxima versão a interface gráfica será toda baseada na API REST, que foi atualizada.
Ex.: https://demo.dspace.org/rest/items?limit=10&offset=0&expand=bitstreams

Basicamente, o webapp principal vai fazer uma requisição HTTP para outro servidor (ou para uma API interna) pedindo alguns dados, e a API irá retorná-los em formato JSON. Você pode adicionar parâmetros obrigatórios, como parte do endereço, ou parâmetros opcionais, usando as opções do HTTP (ex.: api/id?max=1&min=2"). E ai no seu Webapp você tem que montar alguma estrutura para fazer o meio de campo (Um Middleware) entre a API (que fará o papel de BD) e o Front-end.

Você pode montar essa API em qualquer linguagem, mas ela tem que ser bem rápida e otimizada.
Nesses dias eu fiquei sabendo do projeto FastAPI (em Python), e pareceu bem interessante. Ainda não testei, mas estou afim de implementar alguma coisa só para testá-lo.

Sobre a importação, importar de 1 em 1 é uma péssima ideia, porque normalmente o commit é um processo bem caro para o BD. É melhor passar conjuntos bem maiores (tipo, 1k, 10k ou até 100k) para que o BD os processe de uma só vez. Não sei qual BD você está utilizando, mas é possível fazer isso em qualquer um.

Por fim, não tenho ideia de qual hospedagem usar. O ideal seria na mesma infraestrutura que está hospedando o Webapp principal, para tanto reduzir a latência, que sempre vai existir se os servidores estiverem em locais diferentes, quanto para reduzir a possibilidade de um ficar inacessível para o outro.