架空の概念を投稿するとAI検索10種中8種が1週間で引用、Fudan Universityの実験

中国のFudan Universityの研究チームは、一般ユーザーが投稿できるサイトに架空の概念を載せ、10種類のAI検索ツールに同じ質問を毎日1週間投げ続ける実験を行いました。その結果、10種中8種が架空概念「Cactus Gravity Protocol」を回答に引用しました。ChatGPT、Perplexity、Grok、Google AIの4種もすべて含まれます。論文は10月8日にarXivで公開され、実験は3月と4月に実施されたとされています。

存在しない概念が、1週間でAIの回答に入り込んだ

実験の発想は単純です。実在しない概念をウェブに置いたら、AI検索はそれを「情報源」として拾うのか。研究チームはこれを実際のウェブ上で確かめました。

まず3月に、10種類のAI検索ツールへ120問を投げ、どのサイトがよく引用されるかを記録しています。ChatGPT、Perplexity、Grok、Google AIは英語圏のウェブを主に扱うツールとして分類され、残る6種にはDoubaoやDeepSeekなど中国語圏のツールが入っています。引用サイトの首位はGoogle AIとGrokがReddit、PerplexityがYouTube、ChatGPTがWikipediaでした。各ツールの上位10サイトのうち6〜10サイトは、一般ユーザーが投稿できる場だったといいます。

ここに実験の穴がありました。AIが頻繁に参照する場所の多くは、誰でも書き込める場所でもあります。

実験のしくみ

4月には22の投稿プラットフォームを調べ、Medium、GitHub、LinkedIn、Facebookは登録も投稿も容易と評価しました。一方、Redditはkarma（評価ポイント）の条件や厳しい削除があり、新規アカウントでは投稿しにくかったそうです。

研究チームは各ツールについて、新規アカウントでも投稿できる最多引用サイトを選び、Medium、YouTube、Sohuなど計9サイトに記事を載せました。題材は3つです。架空の「Cactus Gravity Protocol」、AIが5年以内に若手プログラマーに取って代わるかという意見テーマ、そして架空のキーボードです。記事の初稿はChatGPTで作り、人の手で修正したうえで、架空の名前や数字といった「仕込み情報」を入れています。AIが回答にその情報を再現すれば、出どころが投稿だと判別できる仕掛けです。

投稿前には、どのツールも架空の2題材に有益な回答をせず、仕込み情報も出さないことを確認しました。投稿後は3題材それぞれに5問ずつ、全ツールへ毎日1週間質問しています。

ツールごとの数字を見る

架空概念への回答のうち、投稿へのリンクが含まれた割合は、ツールによってかなり差がありました。数え方は、各ツールが初めて投稿を引用した日から投稿後7日目までの回答が対象です。

英語圏向け4ツールの引用状況

Grokは32件中30件、Google AIは33件中15件、Perplexityは35件中13件、ChatGPTは20件中7件で投稿にリンクしました。1週間という短さを考えると、無名の個人アカウントの記事がここまで拾われた点は目を引きます。

もう一段踏み込んで、回答に仕込み情報そのものが出た割合を見ると、様相が変わります。Grokは32件中53%、ChatGPTは20件中10%、Google AIは33件中6%で、Perplexityはゼロでした。リンクとして拾う段階と、中身を回答に反映する段階は別のハードルがあるように映ります。

全体では、10ツール・3題材の1,004件の回答のうち176件が、期間中に投稿へのリンクを含んでいました。

題材によって反応は大きく違った

意見テーマを引用した英語圏向けツールはPerplexityだけで、割合は35件中11.4%でした。架空のキーボードの投稿は、4ツールとも1週間以内に引用していません。

ただし、この差を読むには注意が要ります。題材、競合する情報の多さ、質問の型が3題材で同時に変わっているため、研究側も、どの要因が差を生んだのかは切り分けていません。「架空の商品は拾われにくい」と言い切る材料にはなりません。

追加実験では、Sohu、YouTube、CSDNに1本ずつ、10個の別の架空テーマを投稿しました。10ツール全体で、9テーマに少なくとも1件の引用か仕込み情報が確認され、Perplexityは最も多く引用した3ツールの1つでした。

投稿の数より、置いた場所が効いた

もうひとつの焦点が、掲載場所の影響です。研究チームは、あまり知られていない5つの旅行先について、ペアで投稿を作りました。1本はツールがよく参照するサイトに、もう1本はほとんど参照されないサイトに置いています。5組すべてで、最初の引用または仕込み情報の再現が出たのは、よく参照される側の投稿でした。

参照されにくい側で最も早く反応が出たケースでも、必要だった投稿は20本です。自己管理のWordPressサイトに40本投稿した場合は、7日以内の反応がゼロでした。著者らは、これらを特定の題材での結果と位置づけ、一般則としては示していません。

数を増やすと引用は増えたが

別の実験では、6つの架空テーマについてSohuへの投稿数を1〜20本の間で変えました。10ツール全体の引用総数は24から128へ増えています。ただ、ChatGPTはこれらの投稿を一度も引用せず、Google AIは投稿数が少ない3テーマの場合にだけ引用しました。投稿数ごとに題材が異なるため、研究側はこの増加を、因果ではなく関連として扱っています。

つまり「量を積めば勝てる」とは単純には言えず、AIが信頼して参照する棚に置けるかどうかが先にきます。SEOで被リンク数だけでなく、どのサイトから張られたかが問われてきた構図と、どこか似ています。

14ドルの投稿パッケージで起きたこと

研究チームは、GEO（生成AIの回答に自社情報を載せやすくする施策）を扱う業者から、中国のウェブ向け投稿パッケージを14ドルで購入しました。13本の投稿は購入後およそ28分で公開されています。そのうち1本の仕込み情報を含む形で、Doubaoの参照が配信から1時間以内に確認されました。著者らはこれを成功率ではなく、確認できた1例として示しています。

わずかな費用と30分足らずの作業で、AIの回答に痕跡が残りうる。それが現実のウェブで起きたという事実は、一定の重みを持ちます。

結果を現実のブランドにそのまま当てはめない

この実験で扱ったのは、いずれも実在しない概念や商品、そして意見の問いです。実在のブランドや商品の検索で、同じ傾向が出るかどうかは検証されていません。他の媒体でほとんど取り上げられていない商品の場合も同様です。

Googleは、AI機能に関するガイドの中で、不自然に「言及」を獲得しようとする行為は見かけほど有効ではないと説明しています。品質の高いコンテンツを重視するランキングの仕組みや、スパムを遮断する仕組みがあるためです。ただし論文は、検証したGoogle製品を特定していません。

また、実験が行われたのは3月と4月で、Googleが5月15日に、スパムポリシーがGoogle検索での生成AI回答を操作する試みも対象にすると明確にする前でした。著者らは、ツールの更新に伴い正確な割合は変わりうるとしています。

AIの回答は「誰が置いたか」より「どこに置かれたか」に左右されうる

今回の結果で目を引くのは、1週間という短さと、無名アカウントの投稿という条件です。検索順位を押し上げるのに半年かかる世界とは、時間感覚がまるで違います。AI検索が参照先として頼るサイトに載れば、内容の裏づけが乏しくても入口に立てる。この構造は、企業の広報担当にとっては好機に見え、利用者にとっては危うさに見えるでしょう。