Anthropic表示，该公司加强了对大规模窃取对话式AI“Claude”推理过程信息（推理令牌）的行为的防御，提取量减少了90%至99%。除限制访问推理信息外，该公司还启用了能够识别提取迹象的分类器，并引入自动停用相关账号的机制。据称，迄今已有数万个账号被停用。
如何防止对Claude的大规模访问
这一问题的起因是“蒸馏”。蒸馏是指以强大的AI模型输出为教材，训练另一个更小模型的技术。它本是用于精简自家模型的正当技术，但也有人向其他公司的模型大量提问，再以其回答为线索，试图完整复制模型的能力。Anthropic所关注的，正是后者这类有组织的提取行为。
据Anthropic介绍，攻击方利用了由数十万个虚假账号组成的网络。每个账号的活动都控制在看起来像普通用户的程度，同时从整体上收集海量回答。这种手法不妨称为“账号海战术”。
攻击者瞄准的是推理令牌，也就是模型得出答案前经历的内部思考步骤。如果不仅能获取最终答案，还能得到思考过程，就可以教会另一个模型“如何思考”。打个比方，这就像是不仅模仿一道菜的成品味道，还把整本菜谱连同步骤一起带走。
Anthropic采取的措施主要有三项：限制对Claude内部推理步骤的访问；启用能够发现提取企图的分类器；自动停用被判定为可疑的账号。
数据揭示的措施成效及其局限
Anthropic称，防御措施启用后，推理令牌的提取量减少了90%至99%。该公司还表示，措施启动后，成功蒸馏的案例数量也大幅下降。虽然这个数字存在一定范围，但至少据称已将提取量压到了原来的十分之一以下。
另一个不容忽视的问题，是该公司承认措施会产生副作用。据称，正当用户有时也会被误判并卷入检测。要想更精准地拦截违规行为，正常使用的个人和企业也可能被拦下。这个困扰安全措施的宿命，在AI服务领域也不例外。
大量使用服务的开发者，或集成了自动化工具的业务系统，其行为有时可能与提取迹象相似。今后，如何平衡反违规措施的力度与不妨碍正常使用的运营方式，将左右服务的易用性。
点名企业意味着什么
此次，Anthropic点名中国企业智谱（Zhipu）和Moonshot，称其参与了相关行为。根据Anthropic的说法，智谱从美国主要模型中提取了网络安全相关能力，并将其用于自家的GLM-5.3。Anthropic还指称，Moonshot暗中转接了对Claude的请求。这些均为Anthropic方面的说法，本次公布的材料中无法确认两家公司的观点。
Anthropic还提到，这样提取来的能力可能流入外国的军事系统或监控系统。值得注意的是，该公司将此事定位为安全保障问题，而不只是商业上的模仿。
另一项举措是，该公司呼吁其他AI开发企业也采取类似的防御措施。因为如果只有一家公司筑牢防线，其他入口仍遭窃取，防范效果就会大打折扣。整个行业能否步调一致，仍有待观察。
生成式AI的竞争，正从打造更聪明模型的较量，扩展为判断并控制谁在以何种方式使用模型的较量。检测虚假账号、限制访问等看似不起眼的防御技术，今后似乎将越来越多地左右AI企业的竞争力。
コメント