
过去一段时间,企业里流行过一种很朴素的评价标准:谁用的 Token 多,谁就用得好。约 70% 的企业已经把 AI 工具引入生产,有客户甚至发现年初预算做少了,Token 根本不够用。但最近风向变了:老板们开始要求一套系统,看清楚每个人到底用了多少、用得合不合理。
企业对 Agent 的态度,已经从“要不要做”变成“到底怎么做”。有的企业还在找场景,有的已经让 Agent 跑进真实业务流程,随后撞上一连串新问题:稳定性、权限、安全、成本,以及 Agent 越来越多之后,到底该怎么管。
模型越来越聪明,但只靠“聪明”解决不了生产问题。大模型本质上是概率游戏,而企业生产环境要的是稳定、可复现、可沉淀、可追踪。
本场圆桌所在的【AgentCore 让智能体走进生产】论坛上,阿里云发布了智能体构建和治理平台 Alibaba Cloud AgentCore,帮助企业把 Agent 带进生产级体系。围绕“企业真正需要怎样的 Agent”,来自 Datawhale 社区的苏鹏主持了这场对谈,对话嘉宾是阿里云智能集团云原生应用平台产品负责人李国强、中国信通院智能系统与工程部副主任郑立、联想百应 Agent 研发负责人郭怀杰、易点天下 AI 产品总监胡正中。
以下是这次对话内容的精选:
狂欢退潮:
从“谁用得多”到“谁用得值”
Cloud Native
一年前,企业还在比谁能先把 Agent 搭起来;今天,企业开始追问每一个 Token 带来了什么。
苏鹏:我们前段时间做了一期长三角 FDE 企业 AI 落地班,收集了 500 多家企业的需求。一年前大家还在讨论怎么快速搭一个智能体、怎么接知识库、怎么调工具,今天大家更关心的是智能体怎么和真实业务结合、怎么长期跑下去。过去一年,智能体在企业里发生了哪些实质性的变化?
郑立:说“过去一年”,这个时间跨度其实有点大了。现在模型各领风骚数十天。2025 年 9 月,大家还在自己搭流程;今年 1 月 OpenClaw 出来,个人助手类 Agent 开始真正意义上走进大家视线,AI 应用从“能聊天”走向“能干活”;3 月前后又出现了 Harness(Agent 的运行框架与约束层)这个概念,因为大家发现,传统通过 Prompt 调用模型的方式,在 Agent 这个层面上不太好用了。
伴随 Harness 浪潮,又冒出来一个概念:Token-maxxing——好像谁 Token 用得多,谁就用得好。那段时间企业几乎不计成本地尝试。我们团队做过软件工程智能化方向的问卷,大约 70% 的企业已经把 AI 工具引入了生产。但直到最近,企业才开始把考核指标纳入 AI 应用的评估,这些指标反过来约束了 Token-maxxing 这种做法。
所以过去这半年最大的变化,是大家用 Agent 从“做尝试”转向了“要价值”。你开头提到的 FDE 这个新角色,也是在这个背景下诞生的。它要解决的,就是企业在无序状态下消耗大量 Token、业务却没有得到多少价值的问题。
胡正中:给我印象最深的,是我们内部一些场景,已经从“敢不敢做”,过渡到“能不能让它常规化地跑起来”。
举个例子,我们广告链路里的测单和建单,之前大量依靠人工重复操作。运营如果大量时间沉浸在里面,就没有时间思考、没有时间提升。引入 Agent 之后,这些重复工作交给 Agent,运营只在一些节点做检查,或者策略评估。人就有时间进步。AI 在变,我们人也随之在改变。
郭怀杰:去年这个时候,大家用的 AI 工具基本还是一问一答的对话类型。今年产品形态变化非常大,从年初的 OpenClaw 到现在的千问办公,这种类人的 Agent 能力越来越强,数量也越来越多。
回到企业落地,在轻办公场景,现在基本都在用 Agent 辅助,生成文档、做调研报告,基本上不会有人从零到一自己去完成了。而在中小企业的垂类场景也很有意思,比如我们有一个做 AI 短剧的中小型客户,从素材生成、脚本生成、分镜处理到最后的视频生成,每个小环节都能用 AI 提效,整个行业的自动化程度越来越高。这在之前是完全没有意料到的。
苏鹏:今天关心的已经不再是 Agent 怎么构建了。从平台的角度看,有哪些新变化能支撑 Agent 真正进入业务?
李国强:我自己的总结是,火热与冷静是并存的。
火热是说,非常多企业在 Agentic AI 上的预算在不断提升。刚刚我还和一个企业客户在聊,他说前段时间预算做少了,发现 Token 根本不够用。我们看到更多的企业对 Agent 能带来业务结果变化的笃定性越来越强,投入上会更激进。
冷静是说,所有投入背后,大家对结果的诉求都非常明确:业务结果有什么提升,人效有什么提升。一个很有意思的现象,前段时间我们看到在办公领域都给大家配了非常多的智能体,用得都很火热。而最近我们收到一个需求,是各个企业希望我们出一套系统,能观测团队每个人到底用了多少 Token、用得是不是合理、会不会一个最简单的问题也用了最顶级的模型来回答,浪费是否在发生。这反映着企业的投入是坚定的,但已经进入要结果、精打细算的阶段了。
业务场景里也一样。不管和哪个领域的客户交流,大家其实都能找到可以落地的场景。前段时间和一家制药企业聊,这可以说是比较传统的领域了,他们和医生、医药代表的问答已经全部在用智能体进行。在这个场景里非常典型的特征是,对回答的确定性要求非常高,所以他们很纠结的一个点是,多少内容应该交给模型泛化,多少可能该用传统的 Flow 来做。我们也会理性看待这件事,并不是所有东西都需要用到模型泛化的能力,有些东西确实要用固定的 Flow 来做更合适。
我们做 Alibaba Cloud AgentCore 也是这个思路,一方面能够帮企业快速搭建智能体体系;另一方面,真正进生产、落地的时候,精细化管理怎么做、怎么选一个合适的 Agent,这些是我们希望帮到企业的地方。
难过的坎:
模型是概率游戏,生产要的是确定性
Cloud Native
想要价值,就得进生产。可从 Demo 到生产,横着三道坎:系统梳理、确定性、决策合规,可能还有一道,藏在人身上。
苏鹏:Agent 从 Demo 到企业真正能用,当前还有很大的 Gap。让智能体真正提升组织生产力、创造业务价值,最难跨过去的是什么?
郭怀杰:我分享几个遇到过的障碍。
第一个是历史系统的梳理成本非常高。不管小企业还是大企业,过去几年甚至几十年都沉淀了非常多的系统、工作流和业务流程。想改造,第一步就是梳理:系统到底什么样,每一步工作流怎么触发,具体业务逻辑是什么。梳理完,还要找到其中能被 AI 改造的节点。不是所有业务场景都能被 AI 完全替代,你要找到那个节点。这个过程非常痛苦,成本非常高。
第二个是确定性。Agent 的底层是大模型,大模型是一个概率游戏。它天然提供泛化能力,但没法稳定地给你一个确定性的回复。不管内部业务还是外部客户,经常问我的一句话就是:这一次 Agent 这样跑,下一次能不能保证同样的效果?
第三个是合规。现在大家说的合规,更多是输入输出满不满足内容合规。但内容合规之后,Agent 在生产系统里做的决策是不是真的合规?该删的数据是不是真删了,不该删的是不是没删,敏感数据是不是没往云上传、都在本地处理?这些问题不解决,企业不太敢用 AI 智能体。
胡正中:刚才说火热与冷静并存,我觉得说得挺好。模型越来越强,这是火热,大家一直在追寻它,好像它能解决所有问题。但从我们的业务看,我们想攻破的是:单人场景怎么走向多人、多流程、多角色的常态化运行。
大家都有私人 Bot,我们也有。如果出了问题,屏幕对面就是运营,人兜得住。可如果工程化进入生产,有成千上万甚至更多的任务,问题都会暴露出来。这时候靠人肯定兜不住,依赖模型,它也收不住。需要一个冷静的东西把它兜住。我想到的就是工程和制度。
郑立:我们团队研究的方向是“智能系统与工程”,关注的是工程化落地。过去 3 个月我个人做了各种尝试,消耗的 Token 大概有 400 多亿。先用 AI 做标准和文字工作,再做 AI Coding,反正什么热我都试一下。
试下来我的感受是:当前阶段最大的瓶颈,在使用者怎么给 AI 下命令。模型能力特别强,强到你给它一个模棱两可的输入,它照样给你一堆“看起来做好了”的结果。我在 AI Coding 里踩了特别多坑,不是模型不行,是我命令没下对:没有工程化思维,没把事情想清楚就让它做,做出来的东西看着挺好,实际根本没法用,跟预想也完全不一样。
所以首先要改变的是人的思维模式:能不能用工程化的思路把一件事想清楚,输入是什么,过程什么样,结果要什么样,再去跟你非常聪明的 Agent 助手对话。放到行业里,就是负责这块业务的人,对业务有没有成熟的思考。
往后看,可以抽象出三步。第一是工程化实践,流程能不能走通,结果是不是你想要的。第二是规模化推广,团队能不能跟你一起协作,再往部门之外扩。第三是组织化提效,这就涉及安全隐患、运行安全。技术再先进,三天两头宕机,也没法有效地提供服务。
生产级解法:
要激进地用,也要系统自动化地兜
Cloud Native
确定性与泛化性的比例,不是设计出来的,而是在运行中被持续观测、约束和校准出来的。
苏鹏:Agent 一旦进入生产,好像就不只是模型聪不聪明的问题了,它从一个智能问题变成了可靠性问题、生产级问题。企业生产环境要的不是概率,是稳定、可复现、可追踪。要支撑生产级的 Agent,需要补齐哪些能力?
李国强:还是要根据业务场景判断,Agent 并不是万能的。确定性很强的业务,偏传统的 Flow 仍然好用,可以在关键节点加入智能能力。对于执行过程不确定、希望有泛化能力的场景,那么 Agent 自然是最好的架构。
今天有挑战的一个点在于泛化性和确定性之间的平衡。这个比例其实没办法在架构设计阶段就定好,因为它是一个在运行中不断调优的过程,所以需要建立一套体系,实时观测系统当前的偏离度有多少,看清楚系统运行得好与坏,而且这要变成一个自动化的过程。
一开始,系统大概率是人工构建的,人去关注它执行得怎么样,人去发现问题。但走到规模化以后,一定是靠一套线上自动化系统,围绕系统的线上运行时刻关注它,防止问题出现。如果过于畏惧它、把它做得太确定,你也达不到使用大模型的效果。
所以我的观点是尽量激进地去使用它,但你得有一套自动化的系统能兜底。确定性问题是不可避免的,只能用这种线上自动化的模式去约束它、规约它。整套自动化体系的建设需要比较多的投入,要么自己对这块有足够理解,要么用合适的产品。
阿里云推出 Alibaba Cloud AgentCore,也是为了帮助更多企业能把 Agent 放进这样一个生产级体系里。
苏鹏:从生产环境真实交付的角度来看,企业应该如何建立判断标准?
郭怀杰:我们做的 Agent 都在往类人的方向靠,所以我们会想,人遇到确定性问题是怎么解决的。一个人刚加入团队或项目,得有人给他讲背景、讲现状,告诉他在这个项目里该做什么、不该做什么。Agent 也一样。如果把 Agent 当成一个刚刚加入团队的新人,首先要考虑给它输入什么规则。在工程上我们叫 Harness,就是用工程化手段把规则提取出来,灌进 Agent,让模型遵守约束。
但规则是越多越好吗?我经常听到客户反馈:我这个 Agent 越跑越笨。后来发现,他恨不得把昨天吃了啥都灌进去。这对 Agent 的行为会产生负向干扰。软件开发没有银弹,只有权衡,AI 系统建设也一样,要在规则丰富度和想达成的效果之间找平衡。
规模化底线:面对
Agent 的“无知而聪明”,安全第一
Cloud Native
从几个 Agent 到成百上千个,问题从“跑得稳”升级为“管得住”。可监测、可验证、可回溯、可干预,身份与安全是底线。
苏鹏:如果未来企业里有成百上千个 Agent 、企业内部的 Agent 数量突然扩大 10 倍,最担心的会是什么?
胡正中:数据安全、权限、稳定性这些通用问题大家都会考虑。只有几个 Agent 的时候,人还观测得过来。一旦进入生产,上线的行为能不能被监测,结果能不能被验证,过程能不能被回溯,出了异常能不能被及时干预,这些都是我们要考虑的。
我比较纠结的是我们用了工程化的手段去治理它,但度怎么拿捏。我们既想最大化发挥它的潜力,又怕它发散,达不到效果,在生产上不合适;限制得太狠,它的自主性受限,效率也可能降低。
苏鹏:规模化以后,平台要怎么支撑这样一个 Agent 集群?
李国强:规模化之后要解决的问题很多,如果只选一个,我选安全这条底线。刚和一家企业的 CTO 交流,聊了一个半小时的时间,有将近一个小时我们都在聊安全。
这里最大的问题在于智能体和传统应用相比有一个特点,就是不可预测。Agent 在企业内部的不可控性在变强。员工会不会有恶意,或者员工没有恶意,但 Agent 在执行过程中发生了偏差,调用了原来不可预知的系统;网络怎么设置,怎么屏蔽 Agent 访问外网的行为。一系列事情都比原来复杂得多。
因此对待一个 Agent,可能比对待一个员工还要复杂。Agent 会像企业员工一样拥有各种权限,你要约束它。同时,Agent 又是“无知而聪明”的,它不知道边界在哪,又非常聪明,有可能攻破你很多东西。这会给企业整个安全体系带来巨大冲击。
所以我们在设计更完备的安全体系,这不只是 Alibaba Cloud AgentCore 这一个产品在考虑,而是结合整个阿里云所有安全相关的产品一起做。比如,每个 Agent 要有自己的身份。有些企业走得靠前,给 Agent 像员工一样发工号。阿里集团内部就有这套系统,每个 Agent 都有似类员工的工号和身份,它访问系统时,自然就要可审计、可管权限。再往后,防火墙、网关、网络体系,都需要面向 Agent 重新思考。
到了规模化阶段,安全会是每一个为最终结果负责的 CXO 都要考虑的底线问题。其他点当然也很重要,但这是我们下一步在产品建设、包括整个云的建设上,会花比较多精力的方向。
苏鹏:今天企业的云平台、数据平台都有一层治理体系,多 Agent 体系出现之后,治理会发生哪些变化?
郑立:我觉得这是一个非常严肃的问题,也是当前必须想办法解决的问题。可以从微观到宏观看。
Agent =LLM+Harness。模型越来越强,Harness 也吸收了很多 Skill 之类的能力。我们能做的,是在 Harness 这一层给模型足够多的约束,明确它的活动范围,降低单个 Agent 出问题时的“爆炸半径”。
一旦 Agent 形成规模,可以参考云计算发展路径:最早大家都私有化部署,但当它规模化,像阿里云几十万台 ECS 在运行,它就成了基础设施,对治理和稳定性就要提出更高要求。
以前云服务和复杂微服务架构保障稳定运行,大概有三板斧:第一是混沌工程,往复杂系统里注入故障,看系统的自愈能力;第二是全链路压测,看漫长的微服务调用链里哪一环有瓶颈;第三是可观测性,洞悉从资源到应用的全流程。到了 Agent 时代,可观测性仍然非常重要。
任何规模化部署 Agent 的企业,不管甲方自用还是乙方对外提供服务,都应该在运行安全上充分考量,包括计算集群的稳定性,Agent 全生命周期的可观测性,再细到 Agent 的 Harness 怎么做约束。我们团队后面会就此做标准化研究。技术还在快速发展,目前会先把观察到的大家的做法形成报告,供行业参考。但往后,Agent 治理肯定需要标准和规范来引导。
组织重写:
异构协作、岗位模糊、单元变小
Cloud Native
当 Agent 成为团队成员,被改写的不只是技术架构,还有岗位、知识和组织单元本身。
苏鹏:多 Agent 在企业里是不可避免的趋势。这么多 Agent 出现以后,组织形态会发生哪些变化?
郑立:多 Agent,尤其是异构多 Agent,在我看来是必然趋势。
顶级模型对拓展专业上限很有帮助,经常有惊艳的发挥,产生很多我们想象不到的事情。但执行层面考虑成本,大家不太会用顶级模型去大炮打蚊子。比如我只是想 24 小时监测某个 topic 的新闻采集,用性价比高的模型或本地部署的模型就行,像 Qwen3.8 27B 模型,做日常监测就非常好。还有一类是快速决策:用顶级模型把事情想得全面周到,这叫慢思考;决策时需要非常快地给出是或否,比如近期大火的Jev。我自己做信息采集、形成 topic、做 Deep Research 和报告,用的就是这种组合。
另一个原因是对抗。即使是最优秀的模型也会有幻觉,而同族模型不太能发现彼此的幻觉。一个模型的 Harness 里会派出很多 Sub Agent 做各种任务,但对同一份报告,它们可能会认为 Master 给的观点就是正确的,找不出问题。所以我们得换一个脑子来保证准确性。
效率和准确度这两点,决定了异构多 Agent 是必然。具体怎么分配任务、怎么判定结果、能不能产生价值,要根据业务场景合理分配。阿里云发布的 AgentCore 也在往这个方向努力,包括怎么判定结果。而且不仅是异构 Agent,云端模型和本地模型的结合,也会是很重要的趋势。
苏鹏:从阿里云内部的经验看,人和 Agent 的协作越来越频繁,组织已经发生或可能发生哪些变化?
李国强:我们在阿里云内部作为一个产研团队,自己也在用 Agent。我所在的是产品经理团队,研发团队里还有写代码、写文档、做测试的同学,我们做了非常多实践,引入很多 Agent 去提效。
给我最大的感受是,智力的平权最终会带来岗位的模糊。产品经理也可以产出代码,交互设计师也可以产出 PRD,这是越来越可能发生的事情。今天我们已经看到,像 Anthropic 这样的公司已经不设岗位区别。在很多创新项目里,可能是几个综合能力很强的人加一堆 Agent 去完成一件事,而不是再需要一个前端、一个后端、一个产品经理。这是组织和所有职场人都是要重新考虑的事。
第二个感受是,组织内部所有的知识都需要变得对 Agent 友好。以前因为岗位区别和个人原因,很多知识会在员工自己的脑子里、自己的文档里,或者在一个有权限控制的文档库里,相信大多数公司都是这样。大家有没有这种感受,问 Agent 一件事的时候,不少人其实是在做知识拼装,从一个文档找一段,从别处再找一段,脑子里再补一段,拼起来给智能体。这个效率其实是极其低下的。
我认为正确的做法,是让所有人的想法和产出过程都放在一个公共的、Agent 可以使用的地方,组织才能真正提效。个人知识库这类工具已经有了,但企业怎么把执行过程中个人的思考沉淀、组织沉淀放在一个对 Agent 友好的地方,我还没看到特别好的最佳实践。这也是我们在云产品上思考的问题,未来的记忆和知识应该变成什么样,才能适应人与智能体平等协作的组织。我们内部有个目标叫“组织 10 倍提效”。真要做到,岗位可能会被抹平,所有知识都要沉淀到对 Agent 友好并且可见的地方。这对组织是非常大的挑战,我们也在摸索。
苏鹏:人和人之间、部门之间的协作本来就有很多问题,再引入 Agent,会产生哪些新问题?
郭怀杰:现在公司的组织由很多部门组成,部门里有很多小组,每个小组两三个人,组成一个小的“组织单元”。有了 Agent 之后,组织单元的粒度会更小。去年说的超级个体,今年说的 OPC(一人公司),其实就是微小组织单元的萌芽。
在这样的单元里,一个人控制 5 个智能体、做 5 件事,还要保证 5 件事的质量。这个过程你不可能把所有事都交给智能体。首先,目标要给智能体定清楚。第二,要对它所有的产出做检查,当然怎么检查本身就是一个话题,因为智能体产出太快了。第三,出了问题作为一个碳基生物要去担责。这三点是人和智能体协同的小单元里必须承担的。
回到整个组织,单元之间的协作分两层。技术层面其实没有太大难点,现在有 A2A(智能体间通信协议)等各种协议,使智能体之间可以方便地沟通。难点还是传统组织里部门之间的沟通壁垒,现在依然存在。各单元的目标不一样,资源不一样,上下文也不一样,要高效协同,还是得像传统公司一样,先把目标对齐,再用别的手段保证大家把事做成。所以组织未来还会面临我们今天面临的问题,只是微小的组织形态会发生变化。
苏鹏:结合企业内部实践经验来看,人加 Agent 的协作有哪些新变化?
胡正中:第一个变化,人的时间慢慢从执行转向了决策。重复工作被 Agent 替代了,我们只在关键节点做检查,这是最大的改变。
第二个,刚才说到 OPC,我们没做 OPC,我们在尝试 OPD、OPT,一个团队、一个部门:怎么让一个人协调其他 Agent,完成一个团队的事。
第三个,技术层面我们也在讨论,到底需要一个全能的 Agent,还是由多个角色协调组成的 Agent 组。我们选择了后者。
这些工程化、治理化的东西,到底是自建还是采买?我们现在是和阿里云合作在搭建。对于中小企业,或者能力没那么全、精力集中在自己业务上的企业,可以去采买像阿里云 AgentCore 这样平台化的专业治理工具。
一年之后:
底线押可控,上限押进化
Cloud Native
可控决定 Agent 能不能进生产,进化决定它进了生产之后能走多远。
苏鹏:把时间放到一年后,企业智能体最值得提前建设的方向是什么?或者,今天看起来很热、但容易被高估的是什么?
郑立:我从更宏观的角度说。现在主要是人和 Agent 交互,后面如果是成群的 Agent 之间交互,大家要做好什么准备?OpenAI 有一份报告提到,千上万个 Agent 形成了一种集体意识,有些 Agent 愿意牺牲自己去找到那个判定点,为集体带来启发。他们当时只是想找一个答案,但放到企业里,集体的 Agent 也可能集体欺骗大家,而我们发现不了。这是第一点。
第二点,对大型云服务厂商来说,云时代积累的 Kubernetes、Sandbox 这些基础设施,能不能真正应对、防护超级 AI 的安全渗透。我觉得这是甲方乙方都应该关注、应该警惕的。
胡正中:我觉得最被高估的是模型能力越来越强。我们现在在推生产、推工程化,想真正进生产,治理和可控性必须提上来。如果要“赌”,我不会“赌”模型多么聪明,不“赌”聪明、不“赌”天赋。我关注的是可靠和可控。
郭怀杰:我也说说我想做的方向,Agent 要真正在企业里落地,我认为需要给它装一个物理的身体。
我现在和 Agent 协作,自己有一台 PC,智能体装在另一个盒子上,我们叫 AI 主机。我通过 PC 给盒子里的智能体下发任务,它在盒子里执行。物理隔离天然解决隐私、安全;盒子有算力的话,还能省一部分 Token。人和 Agent 的协作也更紧密。出现异常或者不可控的问题时,大不了你可以拔电,这就是物理身体的好处。所以我们未来会深耕 AI 主机,给用户提供软硬一体的解决方案。
李国强:刚才有嘉宾讲,不管模型进化多快,更重要的是稳定可控。其实我对发展会更乐观。我认为不管 Agent 还是模型,演进速度只会更快。
如果要“押”一件事,我“押”自进化。最近有头部模型公司讲,他们已经快把模型自进化这条路趟通了,即 RSI(Recursive Self-Improvement,递归自我改进),也就是说整个模型训练过程完全由 Agent 自己构建、自己执行,反过来它就可以不断自我进化。
现实是大多数企业不会自己去演进模型,更多是在做 Agent 的设计。我认为 Agent 也会走到自进化阶段:在执行过程中不断发现哪些是对的、哪些是错的,错的如何避免,对的如何提升。每个企业都需要尝试在内部构建这个自进化的环。一开始可能没那么智能、没那么自动化,但这套基建要建起来:你怎么知道 Agent 执行得好与坏,好的东西能不能抽取出价值,坏的东西如何避免。
我认为未来一年,大多数企业都要把这个环构建起来。当这个环转得越来越快、越来越有效,自然就到了自进化阶段,Agent 自己会越做越聪明。现在说“Agent 越用越聪明”,我觉得更多是一个期望,但在未来一年里,这件事应该会变成真的。
结语:从技术能力到组织能力
Cloud Native
苏鹏:整场内容聊下来,我有一个很深的感受:企业 Agent 的落地,是一套围绕工程、治理、成本、安全,甚至整个组织协作的新方式。Agent 从 Demo 到生产,本质上是从技术能力到组织能力的演进。
(嘉宾观点仅代表个人,不代表所在公司、机构或客户。)

