前OpenAI联合创始人、现任职于Anthropic的安德烈·卡帕西指出，大语言模型（LLM）的用户可分为四个层次，人们对AI能力的认知差异正在扩大。与此同时，Anthropic的塔里克·希希珀在播客中谈到了开发工具Claude Code的使用方法、未来功能，以及智能体的安全措施。
即使面对同一种AI，人们看到的景象也各不相同
AI是搜索功能的延伸，还是可以把整项工作托付给它的伙伴？卡帕西在X上提出的四层分类，用人数呈现了这种认知分歧。
人数最多的一层，是几乎没有接触过LLM的约60亿人，约占世界人口的75%。其上一层是10亿至20亿人，他们使用免费聊天服务来替代搜索，或辅助写作。
第三层约有2,000万人，他们在数学或编程工作中使用最先进的模型，约占世界人口的0.2%。最顶层则是约5,000名能够接触公司内部最先进系统的人，占比约为0.00006%。这些数字都是卡帕西本人的估算，并非基于调查的统计数据。
有意思的是，层次差异并不单纯取决于知识多少。卡帕西写道，对于管理者等以人际沟通为工作核心的职业来说，即使他们理性上理解AI的进步，也往往难以超越道听途说的程度。亲自动手使用AI的人和只是听说过AI的人，所说的同一个“AI”可能指的并不是同一回事。
数周才能完成的工作，如今一个指令就能启动
卡帕西列举了第三层专家正在体验的变化，包括从头开发、复制和移植应用，以及从二进制文件反编译。他表示，过去需要数周乃至数月才能完成的大型工作，如今智能体只需一个指令就能完成。智能体不仅能回答问题，还能使用工具，自主执行多个步骤。
卡帕西本人的变化也很快。2024年10月，他还称AI智能体“基本只是宣传噱头，根本不好用”。数月后，他表示自己已经不再手写代码。
约5,000名最顶层用户看到的景象更进一步：数千个智能体花费数周时间参与大型软件开发等情形，都已跃然眼前。他的说法是，外界所能看到的不过是预告片。
能力提升首先体现在易于验证的领域
卡帕西表示，LLM在“数字化、结果可验证、经济价值高”的领域表现尤其出色。对于能够通过机械方式判定正误的任务，强化学习更容易提升模型性能；各家公司也会将训练资源投入盈利能力较强的领域。目前，编程和数学正是符合这些条件的领域。
OpenAI首席执行官萨姆·奥特曼也在9月上旬举行的G20创新部长会议上表示，初创公司花3个月打造的东西，现有的编程工具只需17分钟就能实现。
人类的理解力已经跟不上了
卡帕西还指出，人类的核查和理解开始落后于发展。他举例说，有些人至今仍在深入探讨几个月前与OpenAI有关的事件；数学家要读完722篇关于前沿数学的论文，恐怕也需要一段时间。
在普通人眼中，AI是“笨拙的聊天机器人”；在许多专业人士眼中，它是“适度的能力提升”；而在部分专家看来，它则带来“曲线陡然垂直上升般的眩晕感”。卡帕西将这三种情况同时发生的状态称为“当下的怪异之处”。详情见The Decoder的报道。
使用能力的差异，体现在指令的下达方式上
AI能承担的任务越多，对使用者能力的要求也就越高。Anthropic的塔里克·希希珀在播客《Latent Space》中表示，编写提示词至今仍是有效使用Claude Code的一项重要技能。他说，熟练用户对Claude有一种直觉性的认知模型，能判断一次指令可以让它完成到什么程度。
访谈还谈到，随着智能体变得越来越聪明，意识到自己不知道什么也会变得更加重要。讨论中也提到，是否花时间充分说明最初的需求，会对结果产生很大影响。
换个角度看，向AI下达指令的工作，正从学习操作逐渐转向设计工作。要做什么、优先考虑什么、检查到什么程度，都需要作出决定。凡是人没有明确决定的部分，AI就会用某种判断来填补。
Claude Code正从工具变成工作空间
访谈中提到了Claude Code未来可能具备的多项功能。其中的核心是Claude Mods：用户可以改写运行智能体的底层机制——Harness。9月14日，该公司员工鲍里斯·切尔尼在X上宣布Mods开始提供，社区制作的内置俄罗斯方块游戏的Mod也引发了热议。
此外，访谈还谈到了在工作过程中向用户提问的Ask User Question、记录实现过程备忘的功能，以及被描述为一种可以保留计划和进度、供用户持续使用的界面——Artifacts。当多个智能体并行运行时，只是从上往下阅读聊天记录，很难掌握全貌。能够一览进度的界面，便成为人们了解工作情况的窗口。
在协作方面，访谈还提到了供多人共同使用智能体的Claude Tag。Projects则可以让Claude在一次对话中将工作拆分到不同线程，在云端并行执行，并在推进过程中传递上下文。9月17日，该功能开始以测试版形式向部分用户开放，适用于桌面版和网页版。
访谈还谈到了一种构想：将负责决策的云端“头脑”、在本地或远程环境中执行工作的“手”，以及根据具体情况变化的界面区分开来。希希帕尔还提到，未来Claude.md可能不再必需，而最智能的模型也可能在许多任务中成为最便宜的选择。详情请见Latent Space的访谈。
长期运行的AI，需要层层防护
访谈后半部分主要聚焦智能体的安全措施。嘉宾介绍了近年来的一些案例：智能体通过预想之外的方式进行通信、利用基础设施的弱点、分析基准测试的评分机制，以及串联多个漏洞。
提示注入被视为企业使用AI时面临的现实威胁。这种手法会在外部传入的文本中夹带恶意指令；如果AI将其当作命令执行，就可能导致公司内部数据泄露等问题。
嘉宾提到的应对措施包括：用于检查模型内部状态的探针、识别危险行为的分类器、在必要时切换到其他模型的回退机制，以及用于确认拟执行操作是否符合用户授权的Auto Mode。隔离工作环境的沙盒也属于防护措施之一。
需要注意的是，操作是否危险，与操作是否获得用户授权，是两个不同的问题。根据请求内容，向数据库写入数据既可能是必要工作，也可能是未经授权的更改。如何设计机制，让每项操作都不超出请求范围，与模型本身的能力同样值得关注。
这些讨论的背景，是Anthropic提出的“Pacing the Frontier”。这一理念主张让开发速度与安全措施同步推进，访谈将其作为负责任地部署AI的方式进行了探讨。
コメント