Recentemente, vi que se alçou em várias plataformas na web a discussão sobre como bloquear os problemáticos crawlers das IA’s sanguessugas provenientes de big techs (openai, gemini, deepseek etc) e neste fórum o problema se repetiu¹. Porém, um número relevante de robozinhos invasores enviados para webscraping pela internet já é suplantável pelo projeto canadense open-source Anubis da empresa Techaro. Assim, não seria uma boa ideia implementá-lo no Diolinux Plus, livrando o fórum dessas pragas?
Não conhecia esse projeto ainda, mas, neste caso são dois tipos diferentes de bots.
- Os scrappers não precisam criar contas ou logar no site para capturar o conteúdo, já que no nosso caso ele está completamente disponível para a internet. Geralmente a ação deste tipo de bot é invisível para os usuários e algumas vezes, dificil de detectar até mesmo para os administradores.
- Os bots que me referi no alerta, são do tipo disseminam links em qualquer local acessível pela web. Eles criam posts “fake” com links maliciosos ou simplesmente links para sites que estão tentando ganhar mais relevância fazendo uma estratégia de linkagem.
Isto posto, vou me informar mais sobre o projeto.
Obrigado por indicar.
1 curtida
Apesar de não ser scrapping por ser um bot acaba tendo as mesmas barreiras que um scrapper, o Anubis é um tarpit, bloqueia por ação repetitiva e exige a realização de um calculo pelo front
Todos nossos sites tem feeds rss sem proteção que qualquer scrapper tradicional consegue “digerir” sem nenhum tipo de barreira. Se o Anubis adicionar barreiras no feed e não impactar negativamente a indexação válida de crawlers pode ser algo a se considerar.
Assim que tiver tempo, vou estudar esse projeto.
1 curtida