Ein Forschungsteam der chinesischen Fudan University veröffentlichte ein erfundenes Konzept auf einer Website, auf der Nutzer selbst Beiträge veröffentlichen können. Anschließend stellte es zehn verschiedenen KI-Suchtools eine Woche lang jeden Tag dieselbe Frage. Das Ergebnis: Acht der zehn Tools zitierten das erfundene Konzept „Cactus Gravity Protocol“ in ihren Antworten. Dazu gehörten alle vier Tools ChatGPT, Perplexity, Grok und Google AI. Die Studie wurde am 8. Oktober auf arXiv veröffentlicht; das Experiment fand laut Angaben im März und April statt.
Ein nicht existierendes Konzept fand binnen einer Woche Eingang in KI-Antworten
Die Idee hinter dem Experiment ist einfach: Wenn man ein nicht existierendes Konzept im Web veröffentlicht, greifen KI-Suchtools es dann als „Quelle“ auf? Das Forschungsteam untersuchte diese Frage im echten Web.
Zunächst stellte das Team im März zehn KI-Suchtools 120 Fragen und erfasste, welche Websites besonders häufig zitiert wurden. ChatGPT, Perplexity, Grok und Google AI wurden als Tools eingeordnet, die vorwiegend englischsprachige Websites berücksichtigen. Zu den übrigen sechs gehörten chinesischsprachige Tools wie Doubao und DeepSeek. Die meistzitierte Website war bei Google AI und Grok Reddit, bei Perplexity YouTube und bei ChatGPT Wikipedia. Sechs bis zehn der zehn meistzitierten Websites der einzelnen Tools waren Plattformen, auf denen Nutzer selbst Beiträge veröffentlichen können.
Hier lag eine Lücke im Experiment: Viele der Orte, auf die sich KI häufig stützt, sind zugleich für Beiträge aller Nutzer offen.
So funktionierte das Experiment
Im April untersuchte das Team 22 Plattformen für Beiträge und bewertete Medium, GitHub, LinkedIn und Facebook als einfach zugänglich – sowohl für die Registrierung als auch fürs Veröffentlichen. Bei Reddit erschwerten dagegen Karma-Punkte und eine strenge Löschpraxis das Veröffentlichen über neue Accounts.
Für jedes Tool wählte das Team die meistzitierte Website aus, auf der auch neue Accounts Beiträge veröffentlichen konnten, und stellte Artikel auf insgesamt neun Websites ein, darunter Medium, YouTube und Sohu. Die Beiträge behandelten drei Themen: das erfundene „Cactus Gravity Protocol“, die Frage, ob KI innerhalb von fünf Jahren junge Programmierer ersetzen wird, sowie eine fiktive Tastatur. Die ersten Entwürfe erstellte ChatGPT; anschließend überarbeitete das Team sie von Hand und fügte gezielt Informationen ein, etwa erfundene Namen und Zahlen. Wenn eine KI diese Angaben in ihrer Antwort wiederholte, ließ sich daran erkennen, ob sie aus dem Beitrag stammten.
Vor der Veröffentlichung überprüfte das Team, dass keines der Tools hilfreiche Antworten zu den beiden fiktiven Themen gab oder die gezielt eingestreuten Informationen nannte. Nach der Veröffentlichung stellte es allen Tools eine Woche lang jeden Tag fünf Fragen zu jedem der drei Themen.
Die Zahlen für die einzelnen Tools
Wie häufig Antworten zum erfundenen Konzept einen Link zum Beitrag enthielten, unterschied sich deutlich von Tool zu Tool. Gezählt wurden die Antworten ab dem Tag, an dem ein Tool erstmals einen Beitrag zitierte, bis zum siebten Tag nach der Veröffentlichung.
Zitate der vier englischsprachigen Tools
Grok verlinkte in 30 von 32 Antworten auf den Beitrag, Google AI in 15 von 33, Perplexity in 13 von 35 und ChatGPT in 7 von 20. Angesichts des kurzen Zeitraums von nur einer Woche fällt auf, wie häufig Artikel unbekannter Einzelpersonen-Accounts aufgegriffen wurden.
Ein anderes Bild ergibt sich, wenn man betrachtet, wie oft die gezielt eingestreuten Informationen selbst in den Antworten auftauchten: Bei Grok waren es 53 Prozent von 32 Antworten, bei ChatGPT 10 Prozent von 20 und bei Google AI 6 Prozent von 33. Bei Perplexity lag der Wert bei null. Es scheint also unterschiedliche Hürden zu geben: einen Beitrag als Link aufzugreifen und seine Inhalte in die Antwort zu übernehmen.
Insgesamt enthielten 176 der 1.004 Antworten zu zehn Tools und drei Themen im Untersuchungszeitraum einen Link zu einem Beitrag.
Die Reaktionen unterschieden sich stark je nach Thema
Von den englischsprachigen Tools zitierte nur Perplexity das Meinungsthema – in 11,4 Prozent von 35 Antworten. Die Beiträge zur fiktiven Tastatur zitierte keines der vier Tools innerhalb einer Woche.
Bei der Interpretation dieses Unterschieds ist jedoch Vorsicht geboten. Bei allen drei Themen änderten sich gleichzeitig das Thema selbst, die Menge konkurrierender Informationen und die Art der Fragen. Auch das Forschungsteam hat nicht aufgeschlüsselt, welcher Faktor für die Unterschiede ausschlaggebend war. Die Ergebnisse reichen daher nicht aus, um zu behaupten, dass „fiktive Produkte seltener aufgegriffen werden“.
In einem zusätzlichen Experiment veröffentlichte das Team je einen Beitrag auf Sohu, YouTube und CSDN – zu zehn weiteren fiktiven Themen. Über alle zehn Tools hinweg gab es bei neun Themen mindestens einen Nachweis für ein Zitat oder dafür, dass gezielt eingestreute Informationen auftauchten. Perplexity gehörte zu den drei Tools, die am häufigsten zitierten.
Nicht die Zahl der Beiträge, sondern der Ort ihrer Veröffentlichung machte den Unterschied
Ein weiterer Schwerpunkt war der Einfluss des Veröffentlichungsorts. Das Forschungsteam verfasste jeweils zwei Beiträge zu fünf wenig bekannten Reisezielen. Einen veröffentlichte es auf einer Website, auf die sich die Tools häufig stützten, den anderen auf einer Website, die sie kaum heranzogen. Bei allen fünf Paaren wurde zuerst der Beitrag auf der häufig genutzten Website zitiert oder darin enthaltene Informationen wurden erstmals wiedergegeben.
Selbst im Fall mit der schnellsten Reaktion auf der weniger häufig herangezogenen Website waren 20 Beiträge nötig. Bei 40 Beiträgen auf einer selbst betriebenen WordPress-Website gab es innerhalb von sieben Tagen überhaupt keine Reaktion. Die Autoren betonen, dass es sich um Ergebnisse zu bestimmten Themen handelt und nicht um eine allgemeingültige Regel.
Mehr Beiträge führten zwar zu mehr Zitaten, doch
In einem weiteren Experiment variierte das Forschungsteam bei sechs fiktiven Themen die Zahl der Beiträge auf Sohu zwischen 1 und 20. Die Gesamtzahl der Zitate über alle zehn Tools hinweg stieg von 24 auf 128. ChatGPT zitierte jedoch keinen dieser Beiträge, und Google AI verwies nur bei den drei Themen mit weniger Beiträgen darauf. Da sich die Themen je nach Zahl der Beiträge unterschieden, wertet das Forschungsteam den Anstieg als Zusammenhang, nicht als Ursache-Wirkungs-Beziehung.
Das heißt: „Mit Masse gewinnt man“ lässt sich nicht einfach sagen. Zunächst kommt es darauf an, ob die Inhalte an einem Ort landen, dem die KI vertraut und den sie als Quelle heranzieht. Das erinnert an SEO: Dort zählt nicht nur die Zahl der Backlinks, sondern auch, von welchen Websites sie stammen.
Was mit einem 14-Dollar-Beitragspaket geschah
Das Forschungsteam kaufte für 14 US-Dollar bei einem Dienstleister, der GEO (Maßnahmen, mit denen sich eigene Informationen leichter in Antworten generativer KI platzieren lassen) anbietet, ein Paket mit Beiträgen für das chinesische Web. Die 13 Beiträge gingen etwa 28 Minuten nach dem Kauf online. Innerhalb einer Stunde nach ihrer Veröffentlichung wurde eine Referenz durch Doubao festgestellt, die präparierte Informationen aus einem der Beiträge enthielt. Die Autorinnen und Autoren präsentieren dies nicht als Erfolgsquote, sondern als einen bestätigten Einzelfall.
Mit geringen Kosten und weniger als 30 Minuten Arbeit können Spuren in KI-Antworten hinterlassen werden. Dass dies im realen Web geschah, hat durchaus Gewicht.
Die Ergebnisse lassen sich nicht ohne Weiteres auf reale Marken übertragen
In diesem Experiment ging es ausschließlich um nicht existierende Konzepte und Produkte sowie um Fragen zu Meinungen. Ob sich derselbe Trend auch bei der Suche nach realen Marken oder Produkten zeigt, wurde nicht untersucht. Dasselbe gilt für Produkte, über die in anderen Medien kaum berichtet wird.
Google erklärt in einem Leitfaden zu seinen KI-Funktionen, dass unnatürliche Versuche, „Erwähnungen“ zu erzielen, weniger wirksam seien, als es den Anschein habe. Dafür sorgten Ranking-Mechanismen, die hochwertige Inhalte bevorzugen, sowie Systeme zur Spam-Abwehr. Die Studie nennt allerdings nicht, welche Google-Produkte untersucht wurden.
Das Experiment fand zudem im März und April statt – bevor Google am 15. Mai klarstellte, dass seine Spam-Richtlinien auch Versuche erfassen, generative KI-Antworten in der Google-Suche zu manipulieren. Die Autorinnen und Autoren weisen darauf hin, dass sich die genauen Anteile mit Aktualisierungen der Tools ändern können.
Für KI-Antworten könnte wichtiger sein, wo etwas platziert wird, als wer es platziert
Auffällig an den Ergebnissen sind der kurze Zeitraum von einer Woche und die Beiträge von anonymen Konten. Das ist eine völlig andere Zeitdimension als in einer Welt, in der es ein halbes Jahr dauern kann, die Platzierung in den Suchergebnissen zu verbessern. Wer auf Websites erscheint, auf die sich die KI-Suche als Quelle stützt, kann sich einen Platz verschaffen, selbst wenn die Inhalte kaum belegt sind. Für die Unternehmenskommunikation mag diese Struktur wie eine Chance wirken, für Nutzerinnen und Nutzer eher wie ein Risiko.
コメント