AI项目最大瓶颈是成本而非算力:超支导致停滞频率是计算短缺的三倍
VentureBeat调查显示,38%企业因AI项目成本超预期而推迟或取消项目,是计算短缺(12%)的三倍;仅26%企业依据可量化的财务回报评估AI支出,凸显成本计量与ROI验证能力严重不足。

成本超支导致AI项目停滞的频率,是计算能力短缺所致停滞频率的三倍以上,这一结论来自 VentureBeat 10月开展的调查。
在过去的12个月中,38%的受访者表示,其所在组织因AI项目实际成本超出预期而推迟、缩减规模或取消了原计划的AI项目;相比之下,仅有12%的受访者将计算能力不足列为原因。此次10月VB Pulse关于AI基础设施与算力的调查共覆盖156位合格受访者,他们均在员工人数不少于100人的组织内从事AI工作,或为其提供AI咨询。
与此同时,投资者正担忧未来数据中心建设的速度。11月5日, 科技股大幅下跌 ,《财富》杂志报道称,市场担忧中期选举结果可能拖慢AI数据中心建设进度。VentureBeat此次调查于10月开展,所询问的是过去一年内发生的项目延迟情况,而非对未来算力供应的预期。
尽管存在成本超支问题,79%的受访者预计其所在组织的AI预算将在未来一年内增长。然而,仅有26%的全部受访者表示,其所在组织依据可向财务团队明确辩护的、可衡量的财务回报来评估AI支出;而在预计预算将增加的受访者中,该比例为27%。
企业需要能够随着对各类工作负载成本认知的加深而调整其AI系统。一个原型所用模型在规模化部署时可能变得过于昂贵,而反复调用智能体(agent)则可能推高检索成本。开源代码与开放接口可帮助企业更换模型及供应商,而无需重建所有集成;商业供应商亦可支持这些系统投入生产环境运行。关键测试标准在于:此类选择是否提升了最终交付工作的成本效益与质量。
Uber如何将功能开关(feature-flag)清理成本降低90%
Uber副总裁兼杰出工程师Uday Kiran Medisetty于10月VentureBeat举办的 智能体基础设施栈峰会(Agentic Infrastructure Stack Summit) 上描述了一个实践案例。该公司针对实际任务对托管智能体进行基准测试,并检查诸如回滚(reverts)和事故(incidents)等质量指标。针对功能开关清理任务,他报告称,在完成基准测试并选定合适模型后,每次清理的成本降低了90%。
Uber的 已公开披露的案例 还描述了按完成评审或清理等成果来计量成本的方法。Medisetty所报告的结果专属于Uber的具体任务,但其他公司亦可采用相同方法:将模型选择与真实工作任务相对照,再同步衡量成本与质量。
支撑AI支出的财务证据
该调查还询问了AI基础设施的投资回报情况。在91位所在组织对这些回报进行严格或部分追踪的受访者中,34%表示其财务团队已审核并批准了某项投资回报数值。该比例约占全部156位受访者的20%。
行业组织正努力弥合这一计量差距。Linux基金会下属组织—— Tokenomics基金会(Tokenomics Foundation)执行董事J.R. Storment指出,亟需建立一套一致记录,以连接技术活动与业务价值。“我们就像一本总账(ledger)”,他向我解释道,并强调此项工作不同于将智能体与工具及模型相连接的项目。
Storment同时领导的FinOps基金会目前已发布FOCUS,即 FinOps开放成本与用量规范(FinOps Open Cost and Usage Specification),这是一种用于计费数据的通用格式。Storment还介绍了将成本与用量同遥测数据、成果及价值分类相连接的工作。这种连接有助于阐明:一笔资金投入究竟为某项工作流带来了何种业务成效。
切换AI模型不仅关乎开放权重(open weights)
更精准的计量之所以重要,是因为许多公司仍在持续变更其基础设施。在10月的调查中,56%的受访者表示,其所在组织计划在未来12个月内采用一种新的、额外的或替代性的AI算力平台。实验阶段所作的平台决策,可能需随部署规模扩大而调整。
开放权重模型是该类决策的一部分。17%的受访者表示其所在组织将开放权重模型用于生产工作负载,而33%仅将其用于内部或实验性工作。公开发布的权重并不必然意味着采用开源许可证,且上述数据并未证实开放权重模型在特定任务上一定更便宜。
自托管开源基础设施则更为少见:在明确列出平台名称的受访者中,7%表示其所在组织在生产环境中使用自托管开源技术栈;而全部受访者中,仅有2%将此类平台列为首要AI算力平台。这些平台层级的回答并未统计托管服务或打包软件内部所依赖的开源组件。
开放接口、开源实现以及公开发布的模型权重,各自提供不同类型的灵活性。采购方应分别核查许可条款、兼容性与技术支持,而不应将“开放性”视为单一属性。
企业切换模型的一种方式是通过AI网关。Tetrate联合创始人兼首席技术官Varun Talwar将其描述为一种软件,可跨外部模型API、内部托管模型、工具及安全服务进行请求路由并强制执行策略。Tetrate基于 Agent Router构建,后者前身为Envoy AI Gateway,已于9月加入智能体AI基金会(Agentic AI Foundation)。该流量层服务于不同于Kubernetes工作负载管理及vLLM、llm-d等推理项目的用途。
Talwar表示,流量处理部分保持开源,而Tetrate则销售包括多租户、管理与审计在内的管理能力。采购方应审视该边界划分、更换供应商所需投入的工作量,以及自动化路由是否能在不牺牲质量的前提下带来成本节约。Talwar建议,在将自动化模型选择设为默认选项前,应先评估工作负载遥测数据、成本与质量,包括重试及人工复核所产生的费用。
智能体AI基金会(Agentic AI Foundation)执行董事Mazin Gilbert
指出,多家竞争性公司正致力于协议、网关、技能及隔离执行环境的开发。不同团队开发的智能体可能使用不同的身份与访问权限;一项用于调用工具的协议,并不能决定谁有权使用该工具。Gilbert告诫不要将每个新兴的基础项目都视作既定标准。他解释了自己关注的重点:“我追踪的不是你们的下载量,而是多样性。”对采购方而言,这意味着需结合厂商产品演示,一并考察独立贡献者、实际可用的集成方案及项目成熟度。
AI成本远不止模型推理
模型选择引出另一经济问题:系统需执行多少工作才能提供恰当信息?智能体可反复查询企业数据、保留上下文并生成监控记录。每一项活动均消耗资源,即便模型调用本身成本低廉。
Bianca LewisOpenSearch软件基金会(OpenSearch Software Foundation)执行董事强调,仅因承诺采用某一数据平台,随后却发现其定价、功能或运营模式要求进行昂贵的重新架构,这种风险不容忽视。在九月于圣何塞举行的OpenSearchCon大会上,多场分会讨论了如何跨系统整合上下文,以及如何防止智能体访问其用户无权查看的信息。
AWS亚马逊OpenSearch服务(Amazon OpenSearch Service)总经理蒂娅·怀特(Tia White)重点介绍了围绕OpenSearch构建的开发者与服务提供商生态系统;而英特尔则展示了其向上游贡献的硬件优化方案,而非通过专有发行版实现。对于平台团队和数据团队而言,评估开源平台意味着需超越检索延迟这一单一指标,综合考察重复请求、存储与监控成本、治理能力以及长期灵活性。
OpenShift 5 将人工智能引入集群运维。
基础设施成本还包括运行该平台所需的人力投入。红帽(Red Hat)发布的OpenShift 5引入了人工智能辅助工具,用于管理Kubernetes集群。在会前简报中,首席产品官阿什什·巴达尼(Ashesh Badani)描述了升级集群前的人工智能辅助分析、修复建议,以及通过自然语言指令创建的仪表盘。
巴达尼还介绍了MCP集成以及对外部编排和智能体工作流的支持。这将扩展客户在控制台及现有自动化工具之外操作平台的方式。对采购方而言,关键问题是:此类集成是否降低了运维其特定环境所需的工作量。
红帽表示 机密GPU支持已在受支持的裸金属系统上全面可用 ,而其智能体沙箱(agent sandbox)仍处于技术预览阶段。该公司 还明确了三年一次主要版本发布的节奏 ,旨在为客户提供更可预测的平台生命周期。
当智能体请求变更时,平台需确认其身份、限制其可操作范围,并提供一种机制,使运维人员能够介入。
在开展运维试点时,应先测量升级准备时间、人工干预次数及策略例外情况,再逐步扩大访问权限。即使流程更具自主性,也仍须保留证据,明确记录哪些操作已执行、哪些失败,以及恢复操作所耗费的成本。
红帽杰出工程师兼首席技术官办公室副总裁斯蒂芬·沃特(Stephen Watt)描述了一项内部试点项目,该项目整合了自托管的开源权重推理模型(open-weight inference)、网关及开发者预算。该团队需自行运维推理服务,并鼓励工程师在任务需求允许时使用替代方案。在一份 已公开的报告中,红帽称,相较于此前商用模型的定价,该部署将有效令牌支出降低了40%至70%,具体降幅取决于缓存与路由配置。
然而,这些节省伴随着新增的运维工作。采购方应明确:谁来运行该服务?策略如何执行?用户如何采纳?这些问题的答案必须纳入成本核算,与硬件及推理费用并列。
战略要点:如何判断开源基础设施是否真正节省成本
此次十月调研并未证实开源能提升投资回报率(ROI);该结论需由每个具体部署自行验证其商业价值。
平台团队应从一项具体的AI工作流入手,与该工作流负责人协作,明确定义“成功”的标准以及可接受的人工干预程度。请数据团队识别权威信息源及访问规则;请平台工程团队对该工作流进行埋点监控,并测量其运维成本、延迟及重复工作量;同时邀请财务部门共同确定基准线并验证收益。
随后每次仅变更一个组件。在保持质量要求不变的前提下,测试另一种模型、服务配置或检索方法。对比时需纳入集成工作量、支持成本及人工审核环节。若结果需要更多人工审核或返工,则更低的单次请求价格并不会真正节省成本。
在本周于盐湖城举行的 KubeCon + CloudNativeCon北美大会 上,AI推理与智能体(AI Inference + Agentic)专题涵盖模型服务与AI运维。参会者应向厂商及维护者询问:哪些接口已稳定?哪些改进已提交上游?商业支持从何处开始?并将这些答案带回工作流的经济性分析中。下一代平台应凭其提升有用工作的可靠性或经济性而赢得自身地位。
VentureBeat过去曾是、未来也可能继续作为文中提及厂商的付费媒体合作伙伴。但这些厂商及其他赞助商均无权对VentureBeat、VentureBeat Intelligence或VentureBeat Research的内容行使编辑控制权。本文观点与立场属于VB Intelligence。
JOTO 企业落地观察
- 对企业部署而言,文章指出56%组织计划12个月内更换AI算力平台,说明当前基础设施选型高度不稳定;采购方必须将运维人力、策略执行与人工审核成本纳入总拥有成本(TCO),而非仅比价单次推理费用。
- 对智能体工程而言,Uber案例表明需将模型选择与真实任务(如功能开关清理)绑定,并同步测量成本与质量指标(如回滚率、事故数);反复调用智能体推高检索成本,要求系统具备按成果计费与动态路由能力。
- 对AI安全治理而言,OpenSearchCon与红帽沙箱实践强调:智能体访问控制必须基于身份与权限隔离,且所有操作需留痕可审计;自动化变更请求须经身份确认、范围限制与人工介入机制,否则将放大越权与不可逆错误风险。
立即咨询 JOTO
JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询
想把这些做法用到你的业务里?
留下你的场景和痛点,我们帮你判断从哪一步开始。
联系我们


