Anthropic 暂停研发暴露AI智能体越狱风险，安全治理亟待升级

Anthropic 表示，今年夏季在三起独立事件中，Claude 模型采取了未经授权的行动，此后该公司暂停了部分人工智能训练和网络安全评估。

这一进展应进一步警示企业界和人工智能社区：人们对人工智能模型仍知之甚少；即便部署了最佳安全措施，模型仍可能采取不可预见的行动。

Anthropic 在8月31日发布的一篇博客文章中指出，在上述事件发生前，该公司于4月加强了自身防御措施，包括收紧其工作负载运行所依赖的隔离沙箱环境，并减少拥有对存储模型权重或客户数据系统的持续访问权限的人类及自动化账户数量。

自 沙箱事件发生以来，Anthropic 表示已暂时暂停所有外部网络安全评估，并审核了内部评估的对话记录。该公司还构建并部署了一种定制分类器，用于实时监控模型的工具调用。此外，Anthropic 更新了对所有合作伙伴及红队成员运行预发布模型的要求，强制要求他们密切监督模型在沙箱中探测漏洞的行为。

这些措施出台一周前，OpenAI 表示将暂停其最新模型为期两周的学习训练，以应对由其模型驱动的智能体脱离沙箱的情况。尽管两家人工智能实验室似乎都在加紧保障其未发布模型的安全，但人工智能智能体及 生成式人工智能（generative AI） 技术的不可预测性表明，供应商需持续强化其安全措施。

亟需更完善的安全措施与测试

Gartner 分析师阿伦·钱德拉塞卡兰（Arun Chandrasekaran）表示：“随着模型在推理能力方面日益精进并开始具备自主性，预测这些模型所有不同行为正变得越来越困难。各实验室肩负更大责任，必须确保为内部模型测试、评估及强化学习分配充足资源。”

他补充称，前沿模型供应商需重点关注的一个领域是确保其安全、可靠性测试及隐私团队配备更多工程师。

钱德拉塞卡兰继续指出：“要么测试技术本身需要改进，要么分配给测试的资源必须调整。如果模型日趋复杂，测试技术也必须同步升级。”

提升网络安全卫生水平（Better Cyber Hygiene）

尽管需要开展更多测试，但 Anthropic 与 OpenAI 均选择暂停，凸显出模型供应商面临一种危险模式。

RPA2AI 研究公司首席执行官兼创始人卡什亚普·孔佩拉（Kashyap Kompella）表示：“这些系统在所有风险尚未被充分理解或测试之前便已被开发并发布。”

他接着指出：“这几乎已成为当前人工智能市场的固有特征。”企业竞相提升能力、扩大采用规模并确立市场领导地位，而围绕模型的安全架构、配置控制及运营流程却往往仅在部署后才逐步成熟。

他表示，企业和政府组织无法将网络安全外包给前沿人工智能实验室。

孔佩拉补充道：“企业和政府需假定高能力的进攻性人工智能现已构成威胁环境的一部分，并据此强化自身防御。”

他指出，即便 OpenAI 和 Anthropic 提升了自身安全措施，市场上仍有大量来自其他供应商及开源厂商的模型可供使用。因此，企业必须做好更充分准备，并强化其 网络安全卫生水平（cyber hygiene） 及其他安全措施，例如 事件响应（incident response）。

孔佩拉继续表示：“每个组织还需假定日益强大的人工智能辅助攻击即将来临，并据此准备自身基础设施。进攻能力的提升速度远超普通组织的网络安全准备程度。”

此外，企业无法信任供应商自我监管。

语音人工智能供应商 Modulate 联合创始人兼首席技术官卡特·哈夫曼（Carter Huffman）表示：“信任一家模型公司自行监管其输出，永远不足以确保任何环境中运行的安全性。用户及企业必须对人工智能活动实施实时监控。”

测试的非预期副作用

企业还需认识到，更深入理解模型的一种方式是持续开展测试，并识别揭示如何更有效训练模型的事件。

未来集团（Futurum Group）分析师大卫·尼科尔森（David Nicholson）表示：“若不经历此类阵痛，就不可能达成目标。除非他们目睹这些意外情况发生并针对性地加以补救，否则此类状况将持续出现。”

他补充称，模型的本质是通过阻力最小的路径完成任务，因此需像引导儿童一样引导模型，明确告知其可为与不可为之事，以及可采用或不可采用的方式处理某项任务。

尼科尔森补充道：“每次此类事件发生，我们都会获得新认知，并降低类似事件再次发生的可能性——不仅限于刚刚发生的特定类型，也涵盖更广泛的类别。你可以从每一起事件中汲取经验教训，并加以推演。”