企业AI投入困局：令牌消耗激增但ROI难证

2025年12月，Uber为其工程师提供了Claude Code，并建立了内部排行榜，追踪令牌消耗量并按各团队使用该工具的多少进行排名。到4月， 2026年全年的AI编码预算已全部耗尽。 

这场预算危机成为重大新闻头条，但真正令人意外的是Uber总裁兼首席运营官安德鲁·麦克唐纳（Andrew Macdonald）表示 目前尚无证据表明这种过度使用 与为乘客和司机实际交付更优质产品之间存在关联。 

整起事件为一个更广泛的问题赋予了名称：“令牌最大化”（tokenmaxxing），即令牌消耗激增却缺乏足以证明其合理性的投资回报率（ROI）。

高德纳（Gartner） 预计 今年企业在AI智能体（agent）软件上的支出将接近2070亿美元，较2025年的86.4亿美元增长逾139%。但令牌定价并不像首席财务官（CFO）们数十年来习以为常的软件成本那样易于建模。同一位工程师、使用同一款工具、在同一天内，可能产生截然不同的账单：若其上午仅用于自动补全建议，则费用较低；若其运行多个并行智能体执行大型数据库迁移任务，则费用则高得多。

Uber目前 将每位员工每月在每种智能体编码工具上的支出上限设定为1500美元。且Uber并非唯一一家对此产生疑虑的企业。 微软（Microsoft） 

曾质疑 Claude Code许可证的成本，随后在其体验与设备（Experiences and Devices）事业部全面取消了该许可。多邻国（Duolingo） 则撤销了 一项原计划——将AI使用情况纳入员工绩效考核——原因是员工反对被要求仅为使用而使用这些工具。 如今，采用率与令牌消耗量仅是衡量企业AI价值这一更宏大问题中的输入项。一家公司可以让几乎全部工程师都使用AI，却仍无法证明这笔投入带来了更多功能上线、更多缺陷修复，或更多客户问题解决。

这一差距如今已成为企业的难题。而试图弥合该差距的人们，未必就何种方案可解决该问题达成一致。 

这是人员问题还是基础设施问题？

Agiloft公司人工智能运营副总裁诺埃·拉莫斯（Noe Ramos）指出，“令牌最大化”一词所指向的元凶并不正确。Agiloft是一家面向企业的合同生命周期管理平台。

“团队并非因热衷浪费而烧钱。他们之所以烧钱，是因为默认基础设施将他们推向了这一方向，”拉莫斯向VentureBeat表示，“大多数企业仍将模型选择权交予提示（prompt）操作者，这意味着前沿模型正在处理本可由廉价开源权重模型同样胜任的任务。这并非人员问题，而是基础设施问题。” 

语言学习公司Promova工程主管德米特罗·帕拉尼丘克（Dmytro Palaniichuk）则将责任归于大多数AI工具所设定的默认配置。

“结果发现，在团队版和企业版计划中，高级模型已被预选启用；它们默认以高推理开销运行；而在我们的计划中，Opus会话还会升级至100万令牌上下文窗口。当然，没人会在自己的设置中更改这些默认值，”他表示。

数月之内，他便目睹高级模型被用于检查电子邮件等极其简单的任务。 

为解决此类差距，帕拉尼丘克称Promova正致力于实现Opus、Sonnet与Haiku三类模型40%/50%/10%的使用比例。但他强调，这更多是一种方向性指引而非终极目标，因为具体配比本身并非关键所在。 

“真正阻碍我们的主要是一种行为问题。即便你强制将组织默认模型设为Sonnet，但若未同步提升员工对‘何时该用何种模型’的认知，人们仍会回归旧有习惯，”帕拉尼丘克表示，“最重要的是，人们需有意识地选用模型——理解不同任务应匹配何种模型，并养成在启动新的大语言模型（LLM）对话前先确认模型选择的习惯。”

优化使用不等于减少AI使用

尽管令牌成本持续飙升，优化AI使用却未必意味着减少AI使用。

“第一反应不应是‘少用AI’。高令牌用量可能意味着多种不同情况。如果某人花费16000美元令牌成本为我们节省了10万美元，我们当然希望鼓励这种做法，”SUSE公司技术与产品总经理里克·斯宾塞（Rick Spencer）向VentureBeat表示，“起点在于诊断，而非强制执行。”

SUSE将AI使用划分为三类，由管理者分别予以指导：日常工作任务、自主智能体（Autonomous Agents）以及一次性战略性努力（Curve Jumping）。

“例如，最适合自主智能体的模型未必是最新前沿模型，”他指出，“关键转变在于：我们并非试图压制使用，而是确保使用与实际影响相匹配。” 

值得注意的是，SUSE目前尚未部署任何类型的自动化路由层，斯宾塞表示：“我们未设置任何代理（proxy），因此决策权完全交由各开发人员个人。”他补充道，代理机制已列入路线图。 

提供诉讼与调查领域AI服务的Everlaw公司确实实施了按人设定的令牌限额（与Uber类似），但其首席技术官马克斯·克里斯托夫（Max Christoff）称这类限额恰恰与配给制相反。一旦触及限额，系统将向工具团队发送一行邮件通知，工程师通常当天即可获得双倍限额。

Everlaw也是唯一一家能提供AI投资回报率（ROI）硬性数据的公司。其中一项针对核心Java基础设施的工作耗费3500美元令牌成本，将实施周期从9.5名工程师月缩短至2.5名工程师月。 

“这些是真实数字；3500美元投入换来节省七个月的工程师时间，其投资回报率显而易见，毫无争议，”克里斯托夫表示。另一项尚未发布的更大规模产品已消耗27000美元令牌成本，预计最终将达40000美元，而对应的工程师工作量则从预估的90至100名工程师月降至19名工程师月。 

并非所有尝试均能成功。Everlaw曾耗费数千美元让智能体将界面代码从Dojo框架迁移至React框架，但最终弃用了全部输出结果，原因在于这两个框架对状态（state）与视图（view）关系的基本假设截然不同。如今，该团队要求智能体首先记录旧系统的运行行为，再基于该文档进行构建。

Agiloft公司则彻底取消了所有限额：“74%的员工从未触及过原有限额。限额实为一种虚假天花板，既给重度用户制造摩擦，又未能解决真正的成本驱动因素，”拉莫斯表示。

该公司转而将更低成本的模型设为默认选项，仅当特定任务确有需要时才升级至前沿模型，并在基础设施层而非提示层进行路由，同时引入缓存机制。

“对大多数企业团队而言，最快见效的举措是部署公司级大语言模型（LLM）网关，以处理更低成本的默认模型及智能路由，”拉莫斯表示，“不要对工具本身实行配给制，而应修复其底层架构。稀缺性治理（scarcity governance）只是临时补丁，智能路由才是根本解决方案。” 

路由器内部

有趣的是，当前许多供应商（包括

Merge 、Databricks 、AWS Bedrock ），以及 Azure AI Foundry正通过自动路由器解决这一缺口：该路由器可将任务的复杂性映射出来，并据此将其路由至最适合且同时具备成本效益的模型。

Databricks 在今年6月的数据与人工智能峰会（Data + AI Summit）上，于 Unity AI Gateway 内推出了智能路由（Smart Routing）功能，同时提供硬性支出上限（hard spend caps）以及针对托管模型、编码代理（coding agents）和自定义代理（custom agents）的成本归属（cost attribution）。该功能目前处于测试阶段，提供仅限建议（recommendation-only）和自动路由（auto-routing）两种模式。

Databricks 产品管理总监大卫·纳西（David Nasi）表示，该路由器利用确定性信号（deterministic signals）和基于模型的分类（model-based classification）对每个请求进行评估，考察因素包括提示词意图与长度、所引用文件、堆栈跟踪（stack traces）、变更范围、推理深度以及执行复杂度。

该路由器所作决策并不仅限于选择某个模型。“我们发现，同一模型在搭配不同运行时框架（harness）时表现各异，因此我们构建了智能路由功能以纳入这种灵活性。”纳西向 VentureBeat 表示。

“运行时决策完全透明；我们明确避免让路由器成为一个黑箱。”他表示。当路由触发预算上限时，管理员可在两种策略间选择：一种是硬性限制（hard limit），即直接阻止后续请求；另一种是回退策略（fallback），即优先尝试成本更低且合规的模型。

对于代理型工作负载（agentic workloads），问题甚至更加棘手，因为单个任务可能发散为数十次模型调用，且每次调用均无人工审批。在此类场景中，Databricks 的路由器并非按每次调用进行评估，而是在执行边界（execution boundaries）处进行评估。 

投资回报率（ROI）问题

话虽如此，无论是在有意识的个体化路由还是自动路由中，几乎无人能准确量化节省金额。

帕拉尼丘克（Palaniichuk）的目标是在模型使用上实现40/50/10的配比结构，即由人员根据具体任务需求有意识地选择所需模型；但他并未为 Promova 提供实施前后的对比数据，因为该调整与其他工作同步上线。不过，其遥测数据显示，在100万token窗口下运行的 Opus 模型约占月度支出的三分之一。

SUSE 公司目前正按类别划分人工智能使用情况，并计划部署代理（proxy），但同样未提供任何量化指标，仅有轶事性案例。其中一个项目将其依赖项中的已知漏洞（CVE）数量从数百个降至零；自5月以来，其代理已在漏洞披露交换（VEX）数据库中对近10,000个CVE进行了归类。

与此同时，Databricks 则提供了一幅团队未来走向的初步图景。  

纳西表示：“早期使用模式显示出明显转变：此前将全部流量导向前沿模型（frontier models）的团队，如今正开始将常规任务（例如样板代码生成、简单缺陷修复或微小编辑）迁移至成本更低的模型，且问题解决率未出现可测量的下降。”

为确保团队清晰掌握此类成本优化效果，并在路由变更后及时捕捉质量漂移（quality drift），Databricks 随 Unity AI Gateway 一并提供了统一追踪（unified tracing）与“大语言模型即裁判”（LLM-as-a-judge）评估框架，以及评估数据集、追踪分析（trace analytics）和自动化反馈闭环（automated feedback loops）。 

然而，特定业务领域内准确性的验证责任仍在于客户，帕拉尼丘克将此描述为一项挑战，并指出：“你正在对非确定性输出施加确定性检查，而模型大致按季度发布——针对某一模型调优的评估方案无法干净利落地迁移到下一版本模型。” 

克里斯托夫（Christoff）表示，Everlaw 试图通过向工程师提供广泛的模型菜单及美元预算，并允许其自主选择（前提是通过安全审查）来解决这一问题。其思路在于：负责代码审核的人员能够最快形成直觉，判断哪种模型产出的工作成果值得保留。

模型可能通过所有测试，却仍留下无人可维护的代码。“编码代理会提出二十个表层修复方案，而非解决根本性模式问题。”克里斯托夫表示。

下一步是什么

帕拉尼丘克与克里斯托夫均指出，他们当前用于优化人工智能使用的具体策略终将过时，但其背后的根本性纪律将延续下去。

帕拉尼丘克谈及 Promova 的模型组合时称：“我认为这一具体目标本身意义不大，但相关纪律至关重要。更低成本的模型并未消除‘将工具与任务相匹配’的必要性；事实上，更多选项反而使这项判断变得更加重要。”

克里斯托夫认为，各团队将在规划工作中更积极地接纳 token 消耗概念。

他表示：“我的预测是，在未来一到两年内，我们将开始把 token 支出视作类似于年度人力编制（headcount）或生产成本，而非 IT 或通用软件支出。部门负责人很快将在年度规划会议中，就人力编制与 token 使用分别提出明确立场，并为二者各自准备商业论证（business case）。” 

本质上，一个团队可能规划数百万 token 支出，却几乎不新增任何人员编制；另一个团队则可能完全倒置这一比例。

尽管这些高管对起点存在分歧，但综合来看，他们的洞见确实揭示了当 token 成本与用量激增时，一线实践者所需采取的行动。

拉莫斯（Ramos）将重建一个强大的路由层；斯宾塞（Spencer）将从管理者辅导与培训入手；克里斯托夫则会进一步回溯，先厘清公司究竟在优化什么目标，再着手任何具体操作；帕拉尼丘克则会观察自身团队如何使用这些工具，并精准定位优化需求所在。

他表示：“为团队提供一款工具及一份可见预算，使其可自由试验不同模型、不同供应商；并通过遥测与反馈闭环，在短期内捕获其真实使用数据。不要空谈理想配比；让来自你自身团队的数据浮现答案。令人意外之处往往在于谁最终展现出最佳纪律：出人意料的是，这并不总是技术最娴熟的人。”