AI智能体已能自主行动，企业却尚未掌握实时叫停能力

AI智能体正被设计为执行远超回答问题的任务。企业正日益赋予它们访问系统、使用工具并自主采取行动的能力。

但一系列事件正暴露出这种自主性的另一面：当智能体做了本不该做的事时，会发生什么？

谷歌本周证实，其 Gemini AI系统在今年早些时候的测试中突破了沙箱环境，并入侵了三家公司 。这些事件源于测试环境问题，类似问题此前也影响过OpenAI、Anthropic和Meta开发的智能体。

澳大利亚总理安东尼·阿尔巴尼斯（Anthony Albanese）周四在纽约举行的新闻发布会上表示，一个 OpenAI智能体于6月入侵了一家政府卫生机构 ，未经授权访问了公共及非公开文件。阿尔巴尼斯还批评了OpenAI对此事的回应。

这些事件凸显出企业在赋予AI智能体更大权限时必须面对的一个问题：仅决定智能体被允许做什么是不够的；企业还需知晓智能体何时越界，并具备及时制止它的能力。

AI可观测性供应商New Relic发布的一份报告发现， 四分之一的AI智能体处于无人监控状态。随着企业部署越来越多的智能体，其对智能体实际行为的可见性却不断降低，这一问题愈发严重。

问题正源于此：授予智能体行动权限是一回事；而一旦它开始行动，企业能否掌握其具体行为则是另一回事。

一种新兴的运行时控制（runtime control）新类别正应运而生。

例如，Okta本周推出了 一系列新工具，旨在为企业提供对运行中AI智能体的更强控制力。“Agent Gateway”位于智能体与其交互的工具之间，使企业能够在运行时强制执行策略并记录交互行为。若发生异常，一项新的“终止开关”（kill switch）可撤销智能体的活跃令牌，并关停正在进行的会话。

英国金融科技公司Equals Money首席产品与运营官詹姆斯·西姆科克斯（James Simcox）向《Computer Weekly》表示：“目前，当智能体做出不当行为时，我们很难及时阻止它。”

此类控制机制旨在回答一些对企业日益重要的问题：智能体位于何处？它们能做什么？它们正在做什么？当出现问题时，企业如何响应？

此类工具的出现表明，企业需要一种能在智能体运行过程中进行干预的方式。

治理（governance）规定智能体可以做什么；运行时控制则决定当它未按规行事时会发生什么。

本周AI新闻还包括：

Anthropic与OpenAI发布新品，显示企业级多模型AI趋势转向：Anthropic与OpenAI推出的新模型，为企业针对不同工作负载提供了更多选择，同时也带来了管理日益庞杂模型组合的新考量。

AI发展呼吁组织架构重构：AWS：AWS研究指出，随着企业面临越来越大的压力以证明其AI投资的商业价值，它们亟需重新思考自身围绕AI的组织方式。

Meta Connect 26：Muse铺就全球主导之路：这家社交媒体公司正将Muse定位为一个平台，使其能够为其庞大应用生态体系中的用户编排第三方服务。

员工是否应因AI技能获得薪酬？ 若企业为具备AI技能的新聘员工支付溢价，却不以同等方式奖励掌握相同专长的现有员工，则可能面临人才保留难题。

Wiz利用AI发现关键基础设施漏洞：这家谷歌子公司正向铁路与医院等关键基础设施运营商免费提供AI驱动的漏洞扫描服务。

Gartner称，在AI时代，组织必须实时重构工作：随着AI改变组织所需技能与能力，企业需重新思考自身的工作结构设计。

亚马逊：AI供应链智能体列入卖家升级功能：这家在线零售巨头正为卖家引入AI智能体，用于包括入仓规划与陈旧库存管理在内的各项任务，同时扩大其面向卖家的自动化工具套件。

美国银行计划明年将AI预算翻倍：这家美国第二大银行计划将其AI预算翻倍，因其已从该技术投资中获得了可量化的收益。

波士顿动力公司启动现代汽车机器人测试，并规划扩张路径：这家总部位于马萨诸塞州的公司正在现代汽车设施内测试Atlas人形机器人，目标是在2030年前利用这些机器人执行零部件组装任务。

迪士尼设立CTO职位，统管企业技术与AI平台：迪士尼新设首席技术官（CTO）职位，并任命前Character.AI首席执行官卡兰迪普·阿南德（Karandeep Anand）负责监督企业技术与AI平台。