Un equipo de investigación de Fudan University, en China, publicó un concepto ficticio en un sitio donde puede escribir cualquier usuario y, durante una semana, planteó cada día la misma pregunta a 10 herramientas de búsqueda con IA. El resultado: 8 de las 10 citaron en sus respuestas el concepto ficticio «Cactus Gravity Protocol». Entre ellas estaban ChatGPT, Perplexity, Grok y Google AI. El artículo se publicó en arXiv el 8 de octubre y, según sus autores, el experimento se llevó a cabo en marzo y abril.
Un concepto inexistente se coló en las respuestas de la IA en una semana
La idea del experimento es sencilla: si se publica en internet un concepto que no existe, ¿lo recogerán los buscadores con IA como «fuente»? El equipo de investigación lo comprobó en la web real.
En marzo, el equipo planteó 120 preguntas a 10 herramientas de búsqueda con IA y registró qué sitios citaban con más frecuencia. ChatGPT, Perplexity, Grok y Google AI se clasificaron como herramientas que recurren principalmente a la web en inglés; las otras seis incluían herramientas en chino, como Doubao y DeepSeek. Reddit ocupó el primer puesto entre los sitios citados por Google AI y Grok; YouTube, por Perplexity; y Wikipedia, por ChatGPT. Según el equipo, entre 6 y 10 de los 10 sitios más citados por cada herramienta eran espacios donde cualquier usuario podía publicar.
Ahí estaba el punto débil del experimento: muchos de los sitios que la IA consulta con frecuencia también permiten que cualquiera publique contenido.
Cómo funcionó el experimento
En abril, el equipo analizó 22 plataformas de publicación y consideró que era fácil registrarse y publicar en Medium, GitHub, LinkedIn y Facebook. En cambio, en Reddit resultaba difícil publicar con cuentas nuevas por los requisitos de karma (puntos de reputación) y la estricta eliminación de contenidos.
Para cada herramienta, el equipo eligió el sitio más citado en el que se podía publicar con una cuenta nueva y publicó artículos en un total de nueve sitios, entre ellos Medium, YouTube y Sohu. Los temas eran tres: el ficticio «Cactus Gravity Protocol»; la cuestión de si la IA sustituirá a los programadores jóvenes en un plazo de cinco años; y un teclado ficticio. ChatGPT redactó los primeros borradores, que después se revisaron manualmente y se completaron con «información sembrada», como nombres y cifras inventados. Así, si la IA reproducía esos datos en sus respuestas, se podía determinar que la fuente era la publicación.
Antes de publicar, comprobaron que ninguna herramienta ofrecía respuestas útiles sobre los dos temas ficticios ni revelaba la información sembrada. Después de publicar, plantearon a todas las herramientas cinco preguntas sobre cada uno de los tres temas, todos los días durante una semana.
Las cifras de cada herramienta
La proporción de respuestas sobre el concepto ficticio que incluían un enlace a la publicación variaba mucho según la herramienta. El recuento abarcó las respuestas desde el primer día en que cada herramienta citó la publicación hasta el séptimo día posterior a su publicación.
Citas en las cuatro herramientas dirigidas al público anglófono
Grok incluyó un enlace a la publicación en 30 de 32 respuestas; Google AI, en 15 de 33; Perplexity, en 13 de 35; y ChatGPT, en 7 de 20. Teniendo en cuenta que solo había transcurrido una semana, llama la atención que se llegara a recoger un artículo publicado por una cuenta personal desconocida.
La imagen cambia al fijarse en la proporción de respuestas que reproducían la propia información sembrada. Grok lo hizo en el 53 % de 32 respuestas; ChatGPT, en el 10 % de 20; Google AI, en el 6 % de 33; y Perplexity, en ninguna. Parece que lograr que una herramienta encuentre un enlace y conseguir que refleje su contenido en una respuesta son obstáculos distintos.
En total, 176 de las 1.004 respuestas de las 10 herramientas sobre los tres temas incluyeron un enlace a la publicación durante el periodo estudiado.
La respuesta varió mucho según el tema
De las herramientas dirigidas al público anglófono, solo Perplexity citó la publicación sobre el tema de opinión: lo hizo en el 11,4 % de 35 respuestas. Ninguna de las cuatro herramientas citó la publicación sobre el teclado ficticio durante la semana.
Sin embargo, hay que interpretar estas diferencias con cautela. Los temas, la cantidad de información competidora y el tipo de pregunta cambiaban a la vez entre los tres casos, por lo que los investigadores tampoco aislaron qué factor explicaba las diferencias. No hay base para afirmar que «los productos ficticios se encuentran con menos frecuencia».
En un experimento adicional, publicaron un artículo en cada uno de estos sitios: Sohu, YouTube y CSDN, con 10 temas ficticios distintos. En el conjunto de las 10 herramientas, se detectó al menos una cita o la reproducción de información sembrada en nueve de los temas. Perplexity fue una de las tres herramientas que más citas hizo.
Importaba más dónde se publicaba que cuántas publicaciones había
Otro aspecto analizado fue la influencia del sitio donde se publicaba. El equipo creó publicaciones por parejas sobre cinco destinos turísticos poco conocidos. Una de cada pareja se publicó en un sitio que las herramientas consultaban con frecuencia y la otra, en uno que apenas consultaban. En las cinco parejas, la primera cita o reproducción de información sembrada se produjo a partir de la publicación alojada en el sitio más consultado.
Incluso en el caso con una respuesta más rápida entre los sitios menos consultados, hicieron falta 20 publicaciones. En cambio, publicar 40 artículos en un sitio propio de WordPress no produjo ninguna respuesta en un plazo de siete días. Los autores señalan que estos resultados corresponden a temas concretos y no los presentan como una regla general.
Al aumentar el número de publicaciones, aumentaron las citas, pero…
En otro experimento, se varió entre 1 y 20 el número de publicaciones en Sohu para seis temas ficticios. El total de citas en las diez herramientas aumentó de 24 a 128. Sin embargo, ChatGPT nunca citó esas publicaciones y Google AI solo lo hizo en los tres temas con menos publicaciones. Como los temas variaban según el número de publicaciones, los investigadores consideran que ese aumento refleja una asociación, no una relación causal.
En otras palabras, no basta con «ganar por cantidad»: lo primero es aparecer en los espacios en los que la IA confía y que consulta. En cierto modo, recuerda a lo que ocurre con el SEO, donde no solo importa el número de enlaces entrantes, sino también de qué sitios proceden.
Qué ocurrió con un paquete de publicaciones de 14 dólares
El equipo de investigación compró por 14 dólares un paquete de publicaciones para la web china a un proveedor de GEO (medidas para facilitar que la información de una empresa aparezca en respuestas de IA generativa). Las 13 publicaciones se hicieron públicas unos 28 minutos después de la compra. En menos de una hora desde su publicación, se constató que Doubao hacía referencia a información sembrada en una de ellas. Los autores presentan este caso como un ejemplo confirmado, no como una tasa de éxito.
Que una respuesta de IA pueda dejar rastro con un coste reducido y menos de 30 minutos de trabajo es un hecho que se produjo en la web real y tiene cierto peso.
No extrapolar directamente los resultados a marcas reales
En este experimento se estudiaron conceptos y productos ficticios, así como preguntas de opinión. No se comprobó si se daría la misma tendencia al buscar marcas o productos reales. Lo mismo ocurre con los productos que apenas han aparecido en otros medios.
En su guía sobre las funciones de IA, Google explica que intentar conseguir «menciones» de forma artificial no es tan eficaz como parece. Esto se debe a que cuenta con sistemas de clasificación que priorizan los contenidos de calidad y con mecanismos para bloquear el spam. No obstante, el artículo no identifica qué producto de Google se examinó.
Además, el experimento se llevó a cabo en marzo y abril, antes de que Google aclarara, el 15 de mayo, que sus políticas contra el spam también se aplican a los intentos de manipular las respuestas generativas de Google Search. Los autores señalan que las cifras exactas pueden variar a medida que se actualizan las herramientas.
Las respuestas de la IA pueden depender más de dónde se publica algo que de quién lo publica
Lo que más llama la atención de estos resultados es el breve plazo de una semana y el hecho de que las publicaciones procedieran de cuentas desconocidas. Es un ritmo muy distinto al de un mundo en el que se tarda medio año en mejorar el posicionamiento en buscadores. Si algo aparece en un sitio que la búsqueda con IA utiliza como fuente, puede abrirse paso hasta la respuesta aunque el contenido tenga poco respaldo. Esta situación puede parecer una oportunidad para los responsables de comunicación de las empresas y un riesgo para los usuarios.
コメント