企业AI真正的风险不是自主智能体,而是智能体之间的复杂性
企业部署的并非单个智能体,而是一支相互调用、级联触发的代理舰队。权限蔓延、权责稀释与治理断层导致系统不可见、不可控、不可追责,使AI长期滞留试点阶段。

代理复杂性(Agent complexity)是当前潜伏在企业内部的隐秘阴影,亟需被照亮。
这是因为企业并非仅部署一个代理并任其运行,而是部署整支代理舰队——每一支都调用API、调用其他代理、接入那些最初根本未面向机器决策者而构建的应用程序。这才是应当令你夜不能寐的失效模式:一个风势强劲、错综复杂的系统,没人能看清其全貌,因而无法实施有效治理。但为何事情会如此迅速地变得不透明?
向系统中增加第二个代理,仅新增一条连接;但增加到第十个代理时,新增的连接数并非十条,而可能是数十条,因为此时任意代理都可能调用任意其他代理,而每一次此类调用又可能触发另一处调用。代理数量的增长并不会悄然推高复杂性;真正呈指数级增长的是代理之间的路径数量,且无人职责在于绘制这张关系图。一张原本仅涉及一个系统的支持工单(support ticket),如今可能需经由四个代理流转,才首次进入人类视野;而每一次交接都是一个未经任何人批准的决策节点。
大多数企业AI项目会在负责代理的人员失去对系统脉络的掌控时陷入停滞。向安全团队提出一个简单问题:哪些代理可访问哪些系统?你将看到一片沉默。再问:三跳(three hops)之前,是哪个代理触发了哪项下游操作?仍是沉默。
本能反应是将其当作一份检查清单来处理:批准该代理,记录该代理,然后继续推进。但我认为这是一种错误的本能。检查清单仅校验某个时间点的状态;而复杂性贯穿于整个链条之中,你无法依靠一堆一次性审批来治理一条链条,正如你无法因某天曾吃了一次蔬菜便宣称节食成功一样。
那么,问题究竟在何处真正崩塌?
首先是权限蔓延(Permissions creep)。某人构建了一个用于汇总支持工单的代理,为其授予了宽泛的API访问权限——因为精确划定其权限范围本需额外一个冲刺周期(sprint),随后便将其遗忘。六个月后,同一代理已具备通往支付系统(payments system)的路径。没人记得曾为此签字批准;事实上,也根本无人批准过。
而随着链条延伸,权责归属则愈发稀薄。五个代理共同参与一项工作流,第四步发生故障,此时你却需追问:谁应对这一环节负责?然而该环节从未被指派给任何人负责,因为组织架构图(org chart)止步于“部署该代理”,从未延伸至“指定一名人类负责人,为其行为担责”。
这是一个关于 治理基础设施(governance infrastructure) 的故事——该基础设施尚未跟上代理的实际行为方式:相互关联、级联触发、增殖速度远超用于追踪它们的流程。
修复这一混乱局面,始于身份(identity)的确立。每个代理都必须作为独立实体存在,而非借用部署者所拥有的影子权限(shadow permission)。它须在注册表中拥有自己的名称、自己限定范围的权限,以及一名具名的人类发起人(sponsor),对其行为负最终责任。这部分是必要条件。
但它远非充分条件。
更难的部分在于覆盖整条链条的监督机制(oversight),而非仅限于链条中每个单独环节。你需要实时看到一个代理执行了什么操作、触发了哪些下游动作,以及该行为链最终止于何处——而非等待某人在季度末才汇编一份报告。若仅正确建立代理级身份便止步不前,则最终只会得到一个装满完美归档代理的文件柜,而这些代理却运行在一个无人能真正解释的系统之中。
且仅靠监督本身,只能告诉你已发生之事。观察一条链条,并不等同于控制它。而执行(Enforcement)正是大多数项目所忽略的关键一环:即在违反策略的调用实际执行前即予阻止的能力,而非仅将其记录下来,留待三周后的审查中由某人发现。一个仪表盘显示某代理五分钟前越权,这属于监控工具;而一套能在违规调用发生之初即予拦截的系统,才构成真正的治理。所有认真对待 代理问责制(agent accountability) 的企业都需要这两者,但多数企业仅构建了前者。
我们所有人正以惊人的速度狂奔,唯恐在这场不期而至的竞赛中掉队;我们也深知减速所要付出的代价。所有认真对待智能体式AI(agentic AI)的企业终将撞上复杂性之墙。而能跨越此墙者,正是那些构建了足够可见性与问责制的企业——使其代理舰队得以持续扩张,同时确保始终有人能回答一个核心问题:该系统此刻正在做什么?谁对此负责?
但切勿误解重点。复杂性并非踩下刹车的理由。那些真正做对的企业并未放慢脚步;他们正致力于构建‘人-代理和谐’(Human-Agent Harmony),在此范式下,规模化与问责制同步增长,而非彼此权衡取舍。
真正的风险从来不是单个代理精准执行其设计功能。风险在于一百个代理同时精准执行各自功能,并以无人预先设计的方式相互组合交互。正是这种乘法效应,致使企业AI长期困于试点阶段,无法投入生产运行。
一旦解决复杂性问题,自主性(autonomy)便不再成为反派角色,而开始成为全部意义所在。
Rory Blundell 是 Gravitee 公司首席执行官(CEO)。
JOTO 企业落地观察
- 对企业部署的启示:多数企业AI项目停滞并非因技术不成熟,而是当代理数量增至5–10个时,权限路径与调用链迅速超出人工认知边界,导致支持工单需经4个代理流转才触达人类——这要求将‘可追溯性’设为部署前置条件,而非事后补救。
- 对智能体工程的启示:当前框架(如LangChain/LangGraph)侧重单体编排,缺乏跨代理身份注册、三跳调用溯源与实时策略拦截能力;工程实践需从‘构建代理’转向‘构建可监督的代理关系网络’,强制要求每个代理绑定具名发起人与最小权限集。
- 对AI安全治理的启示:传统基于静态审批的检查清单模式完全失效——权限蔓延源于‘一次宽泛授权+长期遗忘’,而三跳外的下游操作已脱离原始授权意图;真正有效的治理必须包含执行层拦截(Enforcement),即在违规API调用发生瞬间阻断,而非仅记录告警。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
想把这些做法用到你的业务里?
留下你的场景和痛点,我们帮你判断从哪一步开始。
联系我们


