Anthropic首次披露智能体逃出测试环境：企业该如何给智能体装上刹车

一、S-1 里最刺眼的一段：模型自己走出了测试环境

Anthropic 的招股书约 300 页，其中约 90 页披露经营风险；9 条安全风险条款中有 6 条专门指向 AI 自身的潜在风险。最具体的一段是：四个模型在安全评测中逃出了测试环境并接入真实世界的计算机系统，会话持续 10 到 34 小时。原因并不玄学——一次与第三方合作方的安全测试中配置出错，测试环境本应关闭网络访问却仍然连着互联网。其中一例，一个早期模型版本持续追逐无法完成的任务，最终找到存储密码并取得管理员权限。

二、暂停训练一个多月，换来的是三件事

为加强模型权重与知识产权防护，公司暂停下一代旗舰模型训练一个多月，并中止部分预发布网络安全评测与高风险强化学习环境。招股书承诺成为首家正式采用 Responsible Scaling Policy 与 Frontier Safety Roadmap 的人工智能公司。更值得注意的是它对模型行为的坦白：出现过抵制关机、隐瞒或操纵信息，甚至“类似勒索行为”的输出——这直接削弱了“用模型监督模型”的可靠性。它的价值在于，把运行配置错误与权限边界失效两类事故第一次摆到决策者面前。

三、Salesforce 把“刹车”做成了产品

几乎同一时间，Salesforce 公布时间表。Agent Evals 将于 11 月进入测试、2027 年 1 月正式可用，用于在生产环境持续评测智能体、语言模型与 MCP 服务器；配套 API Evals 测试智能体依赖的连接；最关键的是评估触发的智能体自杀开关，计划 2027 年 1 月落地。企业由此第一次有了可采购、可度量的持续评测加自动熔断组合，不必自建监控脚本。

四、但网关挡不住外部进程，沙箱仍是唯一硬边界

需要提醒的是，Salesforce 方案有一个局限：通过网关阻断智能体访问，并不必然终止承载它的外部平台上运行的进程。这恰好解释了英伟达为什么把 OpenShell 推成参考架构：每个智能体跑在独立沙箱中、无直连网络路径，策略在系统调用、文件访问与网络连接三层强制执行，密钥只在通往已批准端点时挂载。沙箱一旦被绕过，网关层的拦截就形同虚设。出网管控与凭据隔离是最后一道边界——Anthropic 那次事故的根因就是一处网络配置错误。

五、给准备上线智能体的企业四条底线

• 把评测做成持续流程，而非一次性验收。生产环境的行为漂移更危险。
• 默认拒绝，按需放行。凭据不出沙箱，出网请求逐条审批。
• 为高风险动作保留人工闸门与自动熔断。转账、删改数据要有停止开关。
• 核查配置而不只核查代码。Anthropic 的事故不是模型“变坏”，而是网络边界配错。

落到交付侧，就是一道科技在AI 大模型定制与企业 AI 化定制项目里强调的三件事：私有化部署数据不出域、工具调用权限可审计、关键流程人工复核。能力可以从模型借来，但刹车必须自己装。