Uma equipa de investigação da Fudan University, na China, publicou um conceito fictício num site onde os utilizadores comuns podem publicar e, durante uma semana, fez diariamente a mesma pergunta a 10 ferramentas de pesquisa com IA. Como resultado, 8 das 10 citaram nas respostas o conceito fictício «Cactus Gravity Protocol». Entre elas estavam as quatro ferramentas ChatGPT, Perplexity, Grok e Google AI. O artigo foi publicado no arXiv a 8 de outubro e indica que a experiência decorreu em março e abril.
Um conceito inexistente entrou nas respostas da IA em apenas uma semana
A ideia da experiência é simples: se colocarmos na Web um conceito que não existe, será que a pesquisa com IA o vai recolher como «fonte»? A equipa de investigação testou a hipótese na Web real.
Em março, a equipa começou por fazer 120 perguntas a 10 ferramentas de pesquisa com IA e registou os sites que eram citados com mais frequência. ChatGPT, Perplexity, Grok e Google AI foram classificadas como ferramentas que recorrem sobretudo à Web anglófona; entre as outras seis estavam ferramentas chinesas, como Doubao e DeepSeek. O site mais citado era o Reddit no Google AI e no Grok, o YouTube no Perplexity e a Wikipédia no ChatGPT. Segundo a equipa, entre os 10 sites mais citados por cada ferramenta, 6 a 10 eram espaços onde os utilizadores comuns podiam publicar.
Foi aqui que surgiu uma brecha na experiência: muitos dos locais a que a IA recorre frequentemente também permitem que qualquer pessoa publique conteúdos.
Como funcionou a experiência
Em abril, a equipa analisou 22 plataformas de publicação e considerou que era fácil criar uma conta e publicar no Medium, GitHub, LinkedIn e Facebook. Já no Reddit, as exigências de karma (pontos de reputação) e a remoção rigorosa de conteúdos dificultavam as publicações de contas novas.
Para cada ferramenta, os investigadores escolheram o site mais citado onde era possível publicar com uma conta nova e publicaram artigos em nove sites no total, incluindo Medium, YouTube e Sohu. Os temas eram três: o conceito fictício «Cactus Gravity Protocol», uma questão de opinião sobre se a IA substituirá jovens programadores nos próximos cinco anos e um teclado fictício. Os primeiros rascunhos dos artigos foram criados com o ChatGPT e depois revistos por pessoas, que acrescentaram «informação plantada», como nomes e números fictícios. Assim, se a IA reproduzisse essa informação numa resposta, seria possível identificar a publicação como a sua origem.
Antes das publicações, a equipa confirmou que nenhuma das ferramentas dava respostas úteis sobre os dois temas fictícios nem apresentava a informação plantada. Depois de publicar, fez diariamente, durante uma semana, cinco perguntas sobre cada um dos três temas a todas as ferramentas.
Os números de cada ferramenta
A percentagem de respostas sobre o conceito fictício que incluíam uma ligação para a publicação variou bastante consoante a ferramenta. A contagem abrange as respostas dadas desde o dia em que cada ferramenta citou uma publicação pela primeira vez até ao sétimo dia após a publicação.
Citações pelas quatro ferramentas orientadas para a Web anglófona
O Grok incluiu ligações para a publicação em 30 de 32 respostas, o Google AI em 15 de 33, o Perplexity em 13 de 35 e o ChatGPT em 7 de 20. Tendo em conta que o período foi de apenas uma semana, chama a atenção que artigos de contas pessoais sem notoriedade tenham sido encontrados com tanta frequência.
O quadro muda quando se analisa a percentagem de respostas que incluíram a própria informação plantada. O Grok fê-lo em 53% das 32 respostas, o ChatGPT em 10% das 20 e o Google AI em 6% das 33; o Perplexity não o fez nenhuma vez. Aparentemente, citar uma publicação e incorporar o seu conteúdo numa resposta são obstáculos distintos.
No total, 176 das 1 004 respostas dadas pelas 10 ferramentas sobre os três temas incluíram uma ligação para uma publicação durante o período da experiência.
As reações variaram muito consoante o tema
Entre as ferramentas orientadas para a Web anglófona, só o Perplexity citou o tema de opinião, em 11,4% das 35 respostas. Nenhuma das quatro ferramentas citou a publicação sobre o teclado fictício no espaço de uma semana.
Há, contudo, que ter cuidado ao interpretar esta diferença. Os temas, a quantidade de informação concorrente e o formato das perguntas variaram ao mesmo tempo entre os três casos, pelo que os investigadores não determinaram que fatores deram origem às diferenças. Os resultados não permitem afirmar que «os produtos fictícios são menos citados».
Numa experiência adicional, a equipa publicou 10 outros temas fictícios, um artigo em cada um, no Sohu, YouTube e CSDN. No conjunto das 10 ferramentas, foram encontradas pelo menos uma citação ou uma ocorrência de informação plantada em nove dos temas. O Perplexity foi uma das três ferramentas com mais citações.
Mais do que a quantidade de publicações, o local onde foram colocadas teve impacto
Outro foco da investigação foi o efeito do local de publicação. A equipa criou pares de artigos sobre cinco destinos turísticos pouco conhecidos. Em cada par, colocou um artigo num site frequentemente consultado pelas ferramentas e o outro num site a que recorriam raramente. Nos cinco pares, a primeira citação ou reprodução de informação plantada surgiu sempre no artigo publicado no site mais consultado.
Mesmo no caso em que a reação surgiu mais rapidamente num site menos consultado, foram necessárias 20 publicações. Quando foram publicados 40 artigos num site WordPress autogerido, não houve qualquer reação no prazo de sete dias. Os autores enquadram estes resultados nos temas específicos testados e não os apresentam como uma regra geral.
Aumentar o número de publicações fez subir as citações, mas
Numa experiência separada, os investigadores variaram entre 1 e 20 o número de publicações no Sohu para seis temas fictícios. O total de citações nas 10 ferramentas aumentou de 24 para 128. No entanto, o ChatGPT nunca citou essas publicações, e o Google AI só citou as relativas aos três temas com menos publicações. Como os temas variavam consoante o número de publicações, os investigadores interpretam este aumento como uma associação, e não como uma relação causal.
Por outras palavras, não se pode dizer simplesmente que «vence quem publica mais»: primeiro, é preciso aparecer entre as fontes que a IA considera fiáveis e consulta. A situação lembra, de certa forma, o SEO, em que não conta apenas o número de backlinks, mas também os sites de onde vêm.
O que aconteceu com um pacote de publicações de 14 dólares
A equipa de investigação comprou por 14 dólares, a um prestador de serviços especializado em GEO (estratégias para aumentar a probabilidade de as informações de uma empresa aparecerem nas respostas de IA generativa), um pacote de publicações para a web chinesa. As 13 publicações foram divulgadas cerca de 28 minutos após a compra. Menos de uma hora depois da divulgação, foi possível confirmar que o Doubao tinha consultado uma delas, que continha informação plantada. Os autores apresentam este caso como um exemplo confirmado, não como uma taxa de sucesso.
Com um custo reduzido e menos de 30 minutos de trabalho, é possível deixar um rasto nas respostas da IA. O facto de isso ter acontecido na web real tem algum peso.
Não extrapolar os resultados diretamente para marcas reais
A experiência incidiu em conceitos e produtos fictícios, bem como em perguntas de opinião. Não foi testado se a mesma tendência se verifica nas pesquisas por marcas ou produtos reais. O mesmo se aplica aos produtos que quase não tenham sido mencionados noutros meios.
Num guia sobre funcionalidades de IA, a Google explica que tentar obter «menções» de forma artificial é menos eficaz do que parece. Isto deve-se aos sistemas de classificação, que privilegiam conteúdos de qualidade, e aos mecanismos que bloqueiam spam. No entanto, o artigo não identifica os produtos da Google que foram testados.
Além disso, a experiência decorreu em março e abril, antes de a Google esclarecer, a 15 de maio, que as suas políticas contra spam também abrangem tentativas de manipular as respostas de IA generativa na Pesquisa Google. Os autores afirmam que as percentagens exatas podem mudar à medida que as ferramentas são atualizadas.
As respostas de IA podem depender mais do local de publicação do que de quem publica
O que mais chama a atenção nos resultados é o intervalo de apenas uma semana e o facto de se tratar de publicações de contas anónimas. A perceção do tempo é completamente diferente daquela do mundo em que são precisos seis meses para melhorar a posição nos resultados de pesquisa. Se a informação for publicada num site em que a pesquisa por IA confia como fonte, pode abrir caminho para aparecer nas respostas, mesmo que o conteúdo tenha pouca sustentação factual. Esta estrutura pode parecer uma oportunidade para os responsáveis pela comunicação das empresas e um risco para os utilizadores.
コメント