生成式AI和AI智能体如今能够生成文字、语音和图像，还能跨多个服务执行操作。在线服务越来越难以判断对方究竟是真实的人类、自动化程序，还是获得人类授权的AI。
ZDNET Japan刊载的一篇文章指出，企业有必要按照待核验的对象，重新梳理“验证（认证）”的思路。
拟人化自动化正在动摇认证的前提
长期以来，互联网一直默认屏幕另一端是人类。当然，机器人和未经授权的访问早已存在，但要持续进行近似人类的对话、生成自然的语音和图像，或跨多个服务执行操作，都需要相当的成本和技术。生成式AI和AI智能体大幅降低了这一门槛。
这一变化也反映在数据中。Cloudflare的数据显示，网络请求中约57%是自动化机器人流量，据称这是机器人流量首次超过人类活动。HUMAN Security发布的2026年基准报告称，2025年源自AI智能体的流量同比增长7851%。在日本，警察厅公布的数据显示，2024年SNS投资诈骗和恋爱诈骗的确认案件数为10237起，损失金额约为1272亿日元。
不过，这些数据统计的并不只是利用AI实施的诈骗。值得关注的是，在网络交流中，确认“对方是否真实存在”“是否值得信任”正逐渐成为整个社会面临的课题。这不仅仅是机器人数量增加的问题：数量在增加的同时，它们伪装得像人类的能力也在提升。我认为，这两种变化同步发生，正是此次讨论的核心。
仅靠密码和多因素认证难以防范的场景
企业安全过去一直围绕保护账户发展。身份标识和密码、多因素认证、终端管理、单点登录、零信任、访问权限管理——即使进入AI时代，这些措施的价值也没有改变。
不过，这些措施主要核验的是凭证、终端、访问权限等“持有物”或“权利”的正当性。一旦认证信息被盗，攻击者就能装成合法用户。在视频会议中，生成式AI伪造语音或影像已成为现实风险；在电商和客户支持领域，机器人可以一边进行自然对话，一边发布评论、提交咨询、购买商品、取消订单，甚至领取优惠券。
让问题更加复杂的是AI智能体。传统的反机器人措施主要着眼于排斥非人类访问。但今后，用户将越来越多地把操作委托给AI代为执行。如果只因“是机器人就拒绝”，也可能连正当的代理操作一并拦截。哪些操作可以交给AI，哪些操作需要人类批准？企业需要设计好这条界线。
确认是本人、是人类，还是操作已获批准
一种实用的思路，是把需要核验的对象分成三类。
第一，法律意义上的身份核验
这是为了确认“这个人是谁”，属于由来已久的框架。在金融交易、行政手续、手机合同、电子签名等涉及法律或合同责任的场景中，核验姓名、地址、出生日期等身份信息必不可少。
第二，确认对方是人类
这被称为“Proof of Human”，关注的是“对方是不是一个真实的人，而不是机器人”。服务提供方未必需要知道其真实姓名。在不需要实名的场景中，这种确认可以用于确保每人仅参与一次、限制多账号，以及显示对方是真实的人类等。
第三，确认人类的意愿和批准
这项核验旨在确认AI智能体执行的操作是否基于人类的意愿或批准。信息收集或起草工作可以交给AI，但对于转账、签订合同、访问个人信息、向外部发送数据、变更管理员权限等高风险操作，有时需要留下人类批准的记录。
这三者看起来相似，目的却各不相同。在需要进行法律身份核验的场景中，仅确认对方是人类可能还不够。反过来，在不需要实名的场景中过度要求身份核验，则会增加用户负担和隐私风险。针对AI操作的审批核验，也应与身份核验或机器人识别分开处理。AI时代，“做了身份核验就安全”这种一概而论的想法越来越行不通。
不必拦下AI，只在危险操作上保留人工把关
AI代理的价值，在于能够提升例行工作、信息收集、比较评估、预约准备以及撰写咨询内容等任务的效率。如果每项操作都必须经过严格的人工确认，自动化的意义就会大打折扣。
但如果高风险操作不经确认就放行，责任归属、滥用、审计和问责等问题依然存在。因此，关键在于根据风险设置不同程度的确认。对于低风险的读取或起草操作，应尽量减少阻碍；而对于重要性高、信任要求高或成本高的操作，则应要求人工明确批准。据称，这种设计理念将决定未来数字服务的可信度。
还有一点不容忽视，那就是数据的处理方式。即使在需要更强保障的场景中，也应只确认作出判断所必需的信息，并避免保存额外的个人信息。确认越严格，人们就越容易想要收集更多信息，但收集数据也意味着肩负起保护数据的责任。在证明有人类参与的同时，不持有多余数据。这种兼顾，或许正是AI代理时代的认证给企业留下的一道必答题。
コメント