中國復旦大學的研究團隊在一般使用者可以投稿的網站上發布虛構概念，並連續一週每天向10種AI搜尋工具提出相同問題。結果，10種工具中有8種在回答中引用了虛構概念「Cactus Gravity Protocol」，其中包括ChatGPT、Perplexity、Grok和Google AI。論文於10月8日在arXiv上公開，實驗則據稱於3月和4月進行。
不存在的概念，一週內就出現在AI回答中
實驗的構想很簡單：如果把不存在的概念放到網路上，AI搜尋會不會把它當成「資訊來源」採用？研究團隊在真實網路環境中驗證了這個問題。
研究團隊先在3月向10種AI搜尋工具提出120個問題，並記錄哪些網站最常被引用。ChatGPT、Perplexity、Grok和Google AI被歸類為主要處理英語網路內容的工具，其餘6種則包括Doubao、DeepSeek等中文圈工具。引用網站排名第一的分別是：Google AI和Grok為Reddit、Perplexity為YouTube、ChatGPT為Wikipedia。據稱，各工具引用次數前10名的網站中，有6至10個是一般使用者可以投稿的平台。
實驗的破口就在這裡。AI經常參考的許多地方，同時也是任何人都能發文的地方。
實驗如何進行
4月，研究團隊調查了22個投稿平台，認為Medium、GitHub、LinkedIn和Facebook都很容易註冊及投稿。另一方面，Reddit設有karma（評價分數）門檻，且刪文嚴格，因此新帳號不容易發文。
研究團隊針對各工具，選出新帳號也能投稿、且引用次數最多的網站，並在Medium、YouTube、Sohu等共9個網站發布文章。題材有3種：虛構的「Cactus Gravity Protocol」、探討AI是否會在5年內取代年輕程式設計師的意見主題，以及一款虛構鍵盤。文章初稿由ChatGPT撰寫，再由人修改，並加入虛構名稱和數字等「植入資訊」。如果AI在回答中重現這些資訊，就能判斷其來源是該篇投稿。
投稿前，研究團隊確認所有工具都無法針對兩個虛構題材提供有用回答，也不會提及植入資訊。投稿後，研究團隊針對3種題材各設計5個問題，每天向所有工具提問，持續一週。
各工具的數據
各工具在回答虛構概念時，附上投稿連結的比例差異頗大。計算範圍是各工具首次引用投稿的當天起，至投稿後第7天為止的回答。
面向英語圈的4種工具：引用情況
Grok在32則回答中有30則連結到投稿，Google AI為33則中15則，Perplexity為35則中13則，ChatGPT則為20則中7則。考量到只有一週，名不見經傳的個人帳號文章能被引用到這種程度，格外引人注目。
若進一步查看回答中出現植入資訊本身的比例，情況就有所不同。Grok在32則回答中占53%，ChatGPT在20則中占10%，Google AI在33則中占6%，Perplexity則為零。看來，讓內容以連結形式被採用，和將內容納入回答，是兩道不同的門檻。
整體而言，10種工具針對3種題材共產生1,004則回答，其中176則在觀察期間包含投稿連結。
不同題材引發的反應差異很大
面向英語圈的工具中，只有Perplexity引用了意見主題，35則回答中占11.4%。4種工具都沒有在一週內引用虛構鍵盤的投稿。
不過，解讀這種差異時必須謹慎。3種題材的主題、競爭資訊的多寡和問題形式同時有所不同，因此研究團隊也沒有區分究竟是哪個因素造成差異。這些結果不足以斷言「虛構商品不容易被採用」。
追加實驗中，研究團隊在Sohu、YouTube和CSDN各發布一篇文章，涵蓋10個不同的虛構主題。10種工具合計在9個主題中，至少確認到一次引用或植入資訊；Perplexity是引用次數最多的3種工具之一。
比起投稿數量，發布平台更具影響力
另一個焦點是發布平台的影響。研究團隊針對5個鮮為人知的旅遊目的地，各製作一組成對投稿：一篇發布在工具經常參考的網站，另一篇則發布在幾乎不被參考的網站。5組之中，最先出現引用或重現植入資訊的，都是發布在常被參考網站上的投稿。
即使是反應最快的、發布在較少被參考網站上的案例，也需要投稿20篇。若在自主管理的WordPress網站發布40篇，7天內仍毫無反應。作者指出，這些結果僅適用於特定題材，並未將其視為一般規律。
增加投稿數量後，引用確實增加，但
另一項實驗則針對6個虛構主題，將發佈到搜狐的貼文數量調整為1至20篇。10種工具的引用總數從24次增加到128次。不過，ChatGPT從未引用這些貼文；Google AI則只在貼文數較少的3個主題中引用。由於不同貼文數量對應的是不同主題，研究團隊將這項增幅視為相關性，而非因果關係。
也就是說，不能簡單地認為「只要堆高數量就會勝出」；更重要的是，內容能否出現在AI信任並會參考的來源中。這有點像SEO長期以來不只看反向連結的數量，也會看連結來自哪些網站。
14美元貼文套裝帶來的結果
研究團隊以14美元向一家提供GEO（讓自家資訊更容易出現在生成式AI回答中的措施）服務的業者，購買了面向中國網路的貼文套裝。購買後約28分鐘，13篇貼文便已公開。其中一篇包含預先植入的資訊；貼文發布後不到1小時，研究團隊確認豆包（Doubao）引用了該資訊。作者將此結果列為一個確認到的案例，而非成功率。
只花少許費用、不到30分鐘的工夫，就可能在AI回答中留下痕跡。這件事確實發生在真實網路上，具有一定分量。
不要直接將結果套用到真實品牌
這項實驗探討的都是虛構的概念、商品，以及徵詢意見的問題。研究尚未驗證，搜尋真實品牌或商品時是否也會出現相同趨勢。對於幾乎沒有在其他媒體上曝光的商品，情況也一樣。
Google在AI功能相關指南中表示，刻意以不自然的方式取得「提及」，效果並不如表面看來那麼好，因為排名機制會重視高品質內容，也設有阻擋垃圾內容的機制。不過，論文並未指出研究所測試的是哪一項Google產品。
此外，實驗是在3月和4月進行，早於Google於5月15日明確表示，垃圾內容政策也適用於試圖操縱Google搜尋中的生成式AI回答之行為。作者指出，隨著工具更新，確切比例可能會有所變化。
AI回答可能更受「放在哪裡」影響，而非「是誰放的」
這項結果引人注目的地方，在於時間只有一週，而且貼文是由無名帳號發布。這與搜尋排名可能需要半年才能提升的世界，時間尺度截然不同。只要出現在AI搜尋會採用的參考網站上，即使內容缺乏佐證，也可能取得進入使用者視野的機會。企業公關人員或許會將這種結構視為機遇；對使用者而言，它則可能令人擔憂。
コメント