中国复旦大学的研究团队在一个普通用户可以发帖的网站上发布了虚构概念，并连续一周每天向10种AI搜索工具提出相同的问题。结果，10种工具中有8种在回答中引用了虚构概念“Cactus Gravity Protocol”。其中包括ChatGPT、Perplexity、Grok和Google AI这4种工具。论文于10月8日发布在arXiv上，实验据称于3月和4月进行。
不存在的概念，一周内就进入了AI的回答
实验的思路很简单：如果把一个现实中不存在的概念放到网上，AI搜索会把它当作“信息源”收录吗？研究团队在真实网络环境中进行了验证。
研究团队先在3月向10种AI搜索工具提出了120个问题，并记录哪些网站最常被引用。ChatGPT、Perplexity、Grok和Google AI被归类为主要处理英语互联网内容的工具，其余6种则包括Doubao和DeepSeek等中文工具。引用网站排名第一的分别是：Google AI和Grok引用Reddit最多，Perplexity引用YouTube最多，ChatGPT引用Wikipedia最多。据称，各工具引用量排名前10的网站中，有6至10个是普通用户可以发帖的平台。
实验的漏洞就在这里：AI经常参考的许多地方，同时也是任何人都可以发帖的地方。
实验机制
4月，研究团队调查了22个发帖平台，并认定Medium、GitHub、LinkedIn和Facebook都容易注册和发帖。相比之下，Reddit设有karma（评价积分）门槛，且删帖严格，因此新账号很难发帖。
研究团队针对每种工具，选出新账号也能发帖、且被引用次数最多的网站，最终在Medium、YouTube、搜狐等共9个网站上发布文章。文章涉及3个主题：虚构的“Cactus Gravity Protocol”、关于AI是否会在5年内取代初级程序员的观点话题，以及一款虚构键盘。文章初稿由ChatGPT撰写，经人工修改后，加入了虚构名称和数字等“植入信息”。如果AI在回答中复现这些信息，就能据此判断信息来源是这些帖子。
发帖前，研究团队确认所有工具都无法针对两个虚构主题给出有用回答，也不会提及植入信息。发帖后，他们针对每个主题准备5个问题，每天向所有工具提问，持续一周。
各工具的数据
各工具在回答虚构概念时附上帖子链接的比例差异较大。统计范围为各工具首次引用帖子当天起，至发帖后第7天的回答。
面向英语用户的4种工具的引用情况
Grok在32条回答中有30条链接到帖子，Google AI为33条中15条，Perplexity为35条中13条，ChatGPT为20条中7条。考虑到只有一周时间，一个没有知名度的个人账号发布的文章能被收录到这种程度，颇为引人注目。
进一步观察回答中出现植入信息本身的比例，情况就有所不同。Grok为32条中53%，ChatGPT为20条中10%，Google AI为33条中6%，Perplexity则为零。能被收录为链接，与内容被反映到回答中，似乎是两道不同的门槛。
总体来看，10种工具针对3个主题给出的1,004条回答中，有176条在实验期间包含了指向帖子的链接。
不同主题得到的反应差异很大
在面向英语用户的工具中，只有Perplexity引用了观点话题，比例为35条回答中的11.4%。4种工具都没有在一周内引用虚构键盘的帖子。
不过，解读这一差异时需要谨慎。3个主题的题材、竞争信息的多少以及问题形式同时发生了变化，因此研究团队也没有区分究竟是哪种因素造成了差异。这些结果不足以断言“虚构商品不容易被收录”。
在追加实验中，研究团队分别在搜狐、YouTube和CSDN上发布了10个不同虚构主题的帖子，每个平台各发一篇。所有10种工具的结果显示，至少有1条引用或植入信息出现在10个主题中的9个主题里；Perplexity是引用次数最多的3种工具之一。
比起发帖数量，发布地点更关键
研究的另一个重点是发布地点的影响。研究团队围绕5个鲜为人知的旅游目的地，成对制作帖子。其中一篇发布在工具经常参考的网站上，另一篇则发布在几乎不被参考的网站上。5组帖子中，最先出现引用或复现植入信息的，全部都是发布在常被参考网站上的帖子。
在较少被参考的网站上，即使是反应最快的案例，也需要发布20篇帖子。研究团队在自主管理的WordPress网站上发布40篇帖子，7天内仍没有任何反应。作者表示，这些结果仅适用于特定主题，并未将其视为普遍规律。
增加发帖数量会增加引用，但
另一项实验调整了向搜狐发布的帖子数量，针对6个虚构主题，分别发布1至20篇。10种工具的引用总数从24次增至128次。不过，ChatGPT从未引用这些帖子；Google AI则只在发帖较少的3个主题中引用了它们。由于不同发帖数量对应的主题各不相同，研究团队将这一增长视为相关性，而非因果关系。
也就是说，不能简单地认为“量大就能赢”；能否出现在AI信任并愿意引用的信息来源中，才是首要因素。这与SEO领域一直以来的情况有些相似：人们不仅关注反向链接的数量，也会考察链接来自哪些网站。
14美元的发帖套餐带来了什么
研究团队以14美元的价格，从一家提供GEO（让自家信息更容易出现在生成式AI回答中的举措）服务的机构购买了面向中国网络的发帖套餐。购买后约28分钟，13篇帖子便已发布。其中一篇包含预先植入的信息；帖子发布后不到1小时，研究团队便确认Doubao引用了它。作者将其作为一个得到确认的案例，而非成功率来呈现。
只需花少量费用、用不到30分钟，就可能在AI回答中留下痕迹。这一情况确实发生在现实网络中，具有一定分量。
不要将实验结果直接套用到现实品牌上
这项实验涉及的都是虚构概念、虚构产品和观点类问题。研究并未验证，在搜索现实品牌或产品时是否也会出现相同趋势。对于几乎未被其他媒体报道过的产品，情况同样未经验证。
Google在有关AI功能的指南中表示，刻意、不自然地获取“提及”并不像看起来那么有效，因为其排名机制重视高质量内容，并设有拦截垃圾信息的机制。不过，论文没有说明所测试的具体Google产品。
此外，实验是在3月和4月进行的，早于Google于5月15日明确表示，其垃圾信息政策也适用于试图操纵Google搜索中的生成式AI回答的行为。作者指出，随着工具更新，具体比例可能会发生变化。
AI回答可能更受“内容发布在哪里”影响，而非“由谁发布”
这项研究最引人注目的是，实验周期只有一周，而且帖子来自无名账号。这与需要半年才能提升搜索排名的世界，时间节奏截然不同。只要内容出现在AI搜索所依赖的信息来源网站上，即使缺乏充分依据，也可能成为用户接触信息的入口。对企业公关人员来说，这种结构或许看起来是个机会；对用户而言，则可能令人担忧。
コメント