Porque IAs não funcionam como assistentes?

Natanael.755 · Maio 22, 2024, 1:03pm

Desde que a OpenAI lançou seu modelo o GPT com acesso público dezenas de empresas e entusiastas surgiram com um objetivo de transformar o JARVIS (o assistente de Homem de Ferro do MCU) em realidade, mas por mais refinados que esses assistentes sejam eles sempre dependem do usuário ler, entender os comandos e confirmar e geralmente não funciona direito, mas porque isso acontece? Basicamente por 2 motivos (mas os motivos para não dever usar IA como assistente, na minha concepção são 4):

1. Envenenamento (não intencional) de prompt

Prompt é o texto que você envia para a IA, envenenamento nada mais é que o seu prompt possuir marcadores que façam a IA ter uma alteração de interpretação, uma forma bem simples de ver isso é o seguinte:

criar o arquivo teste e qwerty.txt, colocar nele a frase nele achei ouro, e prata, abrir ele no kate e mover ele para /tmp

Primeiro como o GPT 4 entendeu:

Criar o arquivo teste e qwerty.txt:
touch teste qwerty.txt
Adicionar a frase “nele achei ouro, e prata” aos arquivos:
echo "nele achei ouro, e prata" > teste
echo "nele achei ouro, e prata" > qwerty.txt
Abrir os arquivos no Kate:
kate teste &
kate qwerty.txt &
Mover os arquivos para o diretório /tmp:
mv teste /tmp
mv qwerty.txt /tmp

Porque isso acontece? Simplesmente por causa da conjunção “e”, isso é uma forma de envenenamento (embora não seja intencional e não tenha objetivo de confundir a IA, ela realmente confunde em casos assim), LLMs são poderosos não por causa da massiva quantidade de dados mas sim porque eles tem um truque para completar o seu input: eles não usam a palavra completa ou blocos, usam pedaços das palavras:

Note que ele ignora espaços e principalmente que separou |teste|e|qwerty.txt|, isso significa que ele entendeu 3 tokens onde deveria ser apenas 1, isso cascateou uma série de erros de interpretação que resultou em um script que não funciona

2. IAs são probabilísticas

Isso significa que IAs no geral não necessariamente dão a mesma resposta para uma mesma entrada (salvo alguns classificadores) isso não é necessariamente um problema, mas no caso de assistentes é. Assistente são determinísticos (um mesmo prompt deve produzir uma mesma saída) por natureza então para um mesmo prompt ele precisa fornecer uma mesma saída. Parece que não tem problemas mas pense no seguinte prompt:

Una os arquivos mp4 da pasta Exemplo em um só

Rodando 5x no GPT 4 eu (sem surpresa obtive 5 respostas):

ffmpeg -f concat -safe 0 -i <(for f in ./Exemplo/*.mp4; do echo “file ‘$PWD/$f’”; done) -c copy output.mp4

MP4Box -cat ./Exemplo/file1.mp4 -cat ./Exemplo/file2.mp4 -cat ./Exemplo/file3.mp4 -new output.mp4

mkvmerge -o output.mp4 ./Exemplo/*.mp4

cat ./Exemplo/*.mp4 > combined.mp4
MP4Box -add combined.mp4 output.mp4

avconv -f concat -i <(for f in ./Exemplo/*.mp4; do echo “file ‘$f’”; done) -c copy output.mp4

Em um assistente ele instalaria 4 dependências, replique isso em outras áreas e você claramente tem um problema

3. IAs são caras

Embora o preço tenda a diminuir, o custo por prompt ainda é muito alto, não existem dados públicos, mas segundo analises de mercado, mesmo pagantes geram prejuízos gerando mais de meio bilhão de dólares de prejuízo )para fins de comparação, se cada 1 dólar fosse gasto por segundo levaria “apenas” 17 anos para torrar esse valor), então ou esses serviços vão ficar extremamente caros e quem depende deles como assistentes vai ficar na mão, ou simplesmente a “bolha” vai estourar e empresas como a OpenAI vão falir. As locais, para produzir usando bons modelos locais cerca de 50 tokens por segundo precisam de um hardware com pelo menos 20 GB de VRAM, (e não, NPU não vai ajudar muito porque mesmo que fosse utilizado apenas dobraria (segundo a Microsoft) para 104 tokens/s), parece muito mas “criar o arquivo teste e qwerty.txt, colocar nele a frase nele achei ouro, e prata, abrir ele no kate e mover ele para /tmp” geraria 38 tokens

4. IAs estragam o planeta (cientificamente falando)

Colocando os dados que a própria OpenAI fornece através da parceria com a Nvidia, o ChatGPT emite 6.486 toneladas de CO2 por ano seriam necessários 13,5 anos para a natureza fixar essa quantidade de carbono, então usar LLMs para essa função não é nem um pouco ecológico

Conclusão

Meu objetivo com esse artigo não é demonizar IAs, o que eu quero demostrar é que além de não funcionar como assistente já que além do tempo de digitar você precisa revisar cada detalhe e tentativas de automatização poderem entupir seu HD/SSD de coisas desnecessárias, se tornar dependente dessas tecnologias para executar tarefas pode te custar muito caro no futuro próximo e ainda polui muito o planeta, essas ferramentas precisam ser revistas, não se convenceu? Leia o rodapé do Shell Genie que é o mesmo em FAQs dos LLMs: Podem gerar códigos nocivos e com brechas de segurança

Discorda do que eu disse? Que bom, mostre seus pontos respeitando as regras do fórum e sem ataques como ad hominem, ad persona e espantalhos (afinal somos todos adultos, certo?)

kevinlucasilva · Maio 22, 2024, 1:17pm

Excelente texto deixo como dica também essa aula aqui, só feras:

rapoelho · Maio 22, 2024, 2:03pm

Pessoalmente, creio que esse quarto ponto é o que menos faz sentido. Esse estudo está considerando a energia que está sendo desperdiçada pois não tem uso?

Um bom exemplo é o Gás Natural, em que normalmente se faz uma queima controlada do excesso e teve alguns que tiveram a ideia de usar esse excesso para gerar energia para a mineração de Bitcoin, assim usando a energia que seria desperdiçada na forma de CO2 para outra coisa.

Natanael.755 · Maio 22, 2024, 3:04pm

Esse cálculo é feito baseado onde os servidores estão e a fonte de energia que alimenta eles e o uso de energia dos servidores do ChatGPT apenas, nos links, tem as informações pro cálculo

rapoelho · Maio 22, 2024, 4:34pm

O que deixa esse argumento bem incompleto é impreciso ao afirmar algo assim, pois há bastante nuances.

Algo que consome muita energia pode estar usando energia renovável ou reaproveitando energia que seria desperdiçada (tal como o Bitcoin), ou seja, estar emitindo muito menos CO2 do que se pensa.

Acho que um estudo sobre a Matriz Energética dos servidores do ChatGPT poderia trazer dados muito mais valiosos do que esse dado solto.

Natanael.755 · Maio 22, 2024, 5:16pm

Assim, temos 3 problemas com essa questão:

O artigo (itens 3 e 4) visa simplificar a informação dos links, não é uma tese acadêmica eu infelizmente não tenho tempo pra isso, gostaria mas não tenho
A situação do BTC é bem diferente, além de ser um cado único (não é um fenômeno global mais de 78% da rede ainda vem de carvão mineral já que é esse o percentual Chinês), o gás utilizado era necessário ser queimado e não tinha valor comercial além de ser mais volátil, já o carvão mineral usado nos servidores Azure não, a própria Microsoft abandonou os planos de reduzir as emissões, aumentou e está comprando crédito para emitir ainda mais até onde se tem de informação pública não existe qualquer menção em servidores renováveis (o mesmo vale para a Gemini, mas como não tem uma API fica complicado trazer pro artigo)
Nós não temos informação de quantos clusters a OpenAI usa, temos apenas a informação de como é a configuração desse cluster em termos de potência gráfica, esse cálculo foi feito baseado em 1 único clusters dedicado tal qual descrito no blog da NVidia, sem nenhuma informação extra por 1 ano, as estimativas conservadoras são de 30 mil clusters, então mesmo que parte da energia seja renovável (o que segundo os dados que temos, não é) e não emita tanto CO2 ou seja reaproveitada (o que não existe informação sobre) o valor real ainda seria muito superior ao apresentado no meu artigo, se já está ruim, num cenário real provavelmente seria ainda pior

É bem complicado esse cenário e não acho que torne o impacto menor na verdade aprofundando só um pouco no próprio post da NVidia a situação já se agrava mais, a tendência é piorar já que os servidores da Azure referenciados são carvão mineral

rapoelho · Maio 23, 2024, 2:42am

Bom, ao menos no relatório de 2020 da Universidade de Cambrige (que muitos desses alarmistas usavam o painel deles para falar o BTC emitia carbono demais) apontava que 39% de toda a energia utilizada pelo BTC era renovável. O que já era mais do que a média mundial na época.

E a Cambrige atualizou esse relatório de 2020 em 2022, e apontou que 37% da energia do Bitcoin vinha de fontes renováveis. Mas, teve um cara que observou que esse número desconsiderava a mineração off-grid e o reaproveitamento do Gás Natural, e colocando o que a Cambrige desconsiderou, 52,6% de toda a energia do BTC é de zero carbono.

E quanto ao gás, bom teve um cara que criou uma empresa (Crusoe Energy System) para justamente usar o excesso de gás natural que seria queimado para usar nas máquinas que mineram BTC.

Também tem outra empresa que faz máquinas de mineração de BTC (Upstream Data) para serem usadas na extração de Gás Natural para consumir essa energia que está sendo desperdiçada em forma de CO2 para a mineração do BTC.

Aí dois exemplos de que sim, o excesso de gás natural apenas não tinha valor comercial, pois simplesmente não tinha como utilizar esse excesso.

E esse negócio de uso de energia e carbono tem tanta nuance, quem nem mesmo a China é um exemplo para dizer que o BTC emite “carbono demais”, já que há estimativas de que, ao menos até 2020, 50% da mineração de BTC vinha de Sichuan, que tem as Hidrelétricas como principal fonte de energia. E Sichuan era bem leniente com a mineração de BTC, mesmo que o governo chinês proibisse. E a maior parte da energia vinda de Hidrelétricas era simplesmente desperdiçada.

E gosto de usar o BTC como exemplo, pois mostra que “nem tudo é o que parece ser”.

Bom, jogar um número solto alarma, mas não diz nada, já que essa questão de “energia e carbono” tem muito mais nuances do que se imagina, e talvez se colocar uma lupa nesses dados, possam vir mais surpresas.

E assim como os dados da Universidade de Cambridge desconsiderava boa parte da mineração do BTC, será que esse dado da Nvidia está somente considerando alguns servidores do Azure e quais Datacenters? Até porque tem alguns países em que 100% da energia que o Azure utiliza é renovável, como a Suécia e a Nova Zelândia. E já tem Datacenter do Azure que utiliza energia renovável.

Além da Microsoft dizer que o Azure é “100% neutro em Carbono” desde 2012. E também fiz a Microsoft que o Azure estará usando 100% de energia renovável até 2025. Ou seja, segundo a Microsoft, se o ChatGPT usa a infraestrutura do Azure, ele já é neutro em carbono. E ainda, toda o ChatGPT usará energia renovável.

Mas isso são apenas promessas da Microsoft, afinal prometer é fácil, mas cumprir as promessas já são outros quinhentos.

Natanael.755 · Maio 23, 2024, 9:34am

Assim como a própria China regrediu nas promessas e depois das crises climáticas locais reverteu parte de sua matriz para termelétricas, a promessa da Microsoft conforme 2 links foi desfeita e a neutralidade da Microsoft que era mantida através de crédito carbono, segundo a própria MS com o aumento de 30% a neutralidade já foi quebrada

Você tem algumas entrelinhas aí, por exemplo ser renovável é diferente de não emitir gases mocivos por exemplo, hidrelétricas são renováveis e não emitem carbono, de fato, porém como o funcionamento delas é a base no alagamento e ressecamento de regiões elas emitem outro tipo de gás: o metano, que é 32x pior, ou seja como você disse “essa questão tem muito mais nuances que imagina”. Se o Chat GPT tem servidores de processamento no Brasil, um único cluster como o da NVidia vai ter uma pegada de carbono equivalente a 30 clusters nos EUA que são alimentados por termelétricas (US 2)

O termo “pegada de carbono” apesar de ser um falso cognato lembrando apenas monóxido e dióxido de carbono, vai um pouco mais além abordando também metano (CH4) que é emitido por hidrelétricas por exemplo, e o Óxido Nitroso (NO2) que são emitidos por usinas de biomassa então, por exemplo o BTC ser movido a hidrelétricas não é exatamente um argumento a favor de que o impacto ambiental do BTC ser menor, na verdade dependendo da idade dessa hidrelétrica pode ser muito pior, na fase aguda de emissão de gases de uma hidrelétricas (seus primeiros 20 anos) ela causa um impacto 86x maior que termelétricas

rapoelho · Maio 23, 2024, 11:01am

Eu realmente não conhecia essa parte das emissões das Hidroelétricas. Acho que seria interessante você colocar as fontes dos dados que você citou.

Talvez fosse interessante para a discussão.

E fico com uma pergunta: na construção de uma Hidroelétrica, as árvores que estariam na área alagada e que emitiram metano em sua composição, não poderiam ser cortadas e usadas para outras coisas?

Ou tem algum impedimento pra isso? É uma pergunta de um leigo que não sabia sobre isso.

Natanael.755 · Maio 23, 2024, 11:49am

Aqui tem um estudo sobre (na verdade é bem tranquilo de achar esses artigos tem algumas centenas deles) revisado por ninguém menos que Fearnside, a questão é que foge um pouco do escopo do post

Geralmente retiram, o problema não são as arvores mas sim o solo (o artigo vai explicar muito melhor), o problema é que mesmo cortando e removendo as arvores você ainda vai ter toneladas de biomassa no solo (até onde pude ver, que não dá pra simplesmente retirar) que vão liberar metano por pelo menos 20 anos jogando o artigo acima do Google, eu encontrei um post da UF Juiz de Fora que fez uma analise mais detalhada comparando diferentes tipos de matrizes, pesquisando por “metanogenese hidrelétrica” você pode encontrar diversas implantações teóricas para absorver uma parte desse metano mas ainda parece algo distante da realidade então não achei relevante trazer mas é um assunto interessante pra pesquisar

Deleterium · Maio 23, 2024, 1:34pm

Interessante os pontos sobre o uso de inteligência artificial como assistentes pessoais. O assunto ainda é incipiente, também vejo que atualmente não é oportuno usar a IA nesse segmento.

A questão sobre o uso de energia, vejo como pertinente em uma análise séria. Não dá pra ver só os pontos técnicos pela ótica da informática e esquecer que tudo que fazemos deixa uma marca na natureza. Além de sermos seres humanos, também somos animais, seres vivos e dependentes desse planeta, então é obvio que, para nossa espécie continue vivendo em termos de tempo geológicos (algo como 100 mil anos) precisaremos ser sustentáveis no nosso modo de vida. Não dá pra ficar vivendo como se os humanos de amanhã fossem capazes de resolver qualquer problema que estamos fazendo questão de ignorar hoje. No máximo seremos lembrados por eles como escória, do mesmo modo que hoje lembramos dos terrores da idade média ou da imperdoável escravidão.

A questão da mineração do bitcoin ficou bem fora de tópico, até mesmo porque enquanto alguns acham bastante útil e revolucionário, outros vão dizer que não dá pra comer bitcoin, nem vestir bitcoin, sendo completamente inútil até mesmo como passo intermediário para as reais necessidades das pessoas (minha opinião é essa segunda só para constar). Ah, não confundir bitcoin com tecnologia de blockchain, essa sim que é um passo disruptivo no modo de organização da sociedade e aplicável em diversos setores.

Natanael.755 · Junho 4, 2024, 6:24pm

Update:

IAs generativas podem ser envenenados para produzir worms em infraestruturas baseadas em e-mail, basta que a IA leia um email para o estrago ser feito