GPU 利用率不足一半，企业却加速采购AI基础设施：内存、集成与成本度量成新焦点

在 VentureBeat Intelligence 九月 VB Pulse 调查中，大多数已在生产环境中运行 AI 的公司报告称其 GPU 容量使用率仅为一半或更低——而其中大多数公司仍计划采用新的 AI 基础设施。

在 102 名符合条件的受访者中，68 名正在生产环境中运行 AI 并提供了 GPU 利用率数据。其中 55 名（占 81%）报告平均利用率在 50% 或更低；该群体中 71% 计划在未来 12 个月内采用新的、额外的或替代性的 AI 基础设施平台。

这些发现引出一个有用的问题：买家期望其下一个平台解决什么问题？替换平台可能改善现有工作负载的调度、集成或经济性；新平台则可能支持当前环境处理不佳的工作。

就在这一问题浮现之际，英伟达（Nvidia）首席执行官黄仁勋（Jensen Huang）正敦促企业构建自己的 AI 工厂。在其 10 月 21 日 GTC Berlin 主题演讲中，他表示：“要成为这场 AI 经济的一部分，你不仅应消费 AI，更应生产 AI。”

AI 工厂这一主张正从计算层面进一步扩展。 慧与（HPE） 正强调受管控的 API 及模型上下文协议（Model Context Protocol, MCP）集成，而 VAST 已宣布推出一款由 VAST 与英伟达（Nvidia）联合设计的 Agent Sandbox Foundation Stack，旨在底层计算资源弹性伸缩时，保留智能体（agent）状态、数据访问权限及审计追踪记录。在我于活动前与 Nebius 的对话中 ，其安全团队强调 GPU 机密计算（GPU confidential computing）是一种在处理过程中保护数据和模型权重的方法，并允许客户在释放加密密钥前验证运行环境。在我看来，集成与安全性在基础设施决策中正变得愈发重要。获取算力仅是一个决策；而构建一种能将模型能力转化为实际效用的架构，则需更多决策。

随着智能体承担更长期的任务，这些决策包括：它们如何访问企业知识、如何保存任务进展、如何调用不同模型，以及在发生故障时如何恢复。内存（memory）是该架构的重要组成部分。每项成功完成任务的成本（cost per successfully completed task），是衡量各组件是否协同工作的指标之一。

下一次采购背后的证据缺口

在全部 102 名九月合格受访者中，63% 计划在未来一年内采用新的、额外的或替代性平台。仅有 10% 的受访者报告其基础设施投资回报率（ROI）数值已由财务部门审核并签字确认。在计划采用新平台的受访者中，91% 尚无此类经财务审核的 ROI 数值；而在无平台更换计划的受访者中，89% 同样缺乏经财务审核的 ROI 数值，该差异在统计学上不显著。

企业在财务部门尚未验证其现有 AI 基础设施投资回报之前，即已做出下一平台的决策。

在主要平台已投入生产的受访者中，整体满意度平均为 5.0 分中的 4.0 分，实施难易度平均为 3.9 分，性价比平均为 3.6 分。

一个平台可能运行得足够好，从而获得积极的运营评估，却仍未回答一个更难的问题：它所赋能的工作是否物有所值？

对于智能体型应用，我建议将“每项成功完成任务的成本”作为核心运营指标。该计算应涵盖推理、检索、存储、重复尝试及人工复核等环节。财务部门随后应将这些成本与基于约定基线所交付的价值进行比对。

一项已完成任务需满足质量标准。例如，错误关闭的支持工单不应计为成功；修复代码变更所产生的成本，应计入完成该任务的总成本。

架构决定任务所消耗的资源

九月受访者指出了若干基础设施采购考量因素。与现有云平台及数据栈的集成获 48% 的选择；性能获 42%；GPU 可用性获 35%。集成与性能之间的差异在统计学上不显著。

架构层面的问题在于：特定工作流在何处耗时、重复工作，或消耗资源却未提升最终结果。更强大的模型或许有所帮助；更优的信息路径或上下文层、不同的服务配置，或模型与工具之间更清晰的职责划分，同样可能奏效。 

内存是三项相互关联的设计决策

“内存”（memory）可指代不同事物，若将其视为单一问题，会使基础设施决策更加困难。

机构记忆（Institutional memory）指组织的持久性知识：政策、记录、操作规程及过往决策。智能体任务内存（Agent task memory）指为继续执行任务所需的状态信息：已发生事项、待办事项，以及前期操作所产出的结果。推理内存（Inference memory）则指模型服务期间所使用的资源及缓存计算。

机构知识必须保持最新、相关，并在任务权限范围内可用。任务内存必须保存有价值的进展，同时防止临时结论意外地成为权威的企业事实。推理内存技术须针对其拟优化的具体工作负载进行评估。

Anthropic 的上下文工程指南（context-engineering guidance）

将存储于上下文窗口之外的结构化笔记描述为一种在长期工作中保存信息的方式。 vLLM 的自动前缀缓存（automatic prefix caching） 则针对另一层面：当请求共享提示词（prompt）前缀时，复用已缓存的计算。其文档指出，该技术减少的是提示词处理工作，而非生成新 token 所花费的时间。 九月调查衡量的是推理内存层面。英伟达（Nvidia）与戴尔（Dell）是受访者最常选择用于部署或评估的选项，占比分别为 41% 和 39%，该差异在统计学上不显著。开源 KV 缓存工具及模型级效率技术各自被 21% 的受访者选为部署或评估对象。另有 16% 的受访者尚未应对推理内存限制，或对其尚无认知。

我预计，上述各类内存之间的关系将成为一项更重要的架构决策。团队需确定智能体应保留哪些内容、重新检索哪些内容、可共享哪些内容，以及某项结果何时应成为组织的持久性记录。 

小型模型具备经济合理性的场景

我曾指出，小型语言模型（small language models）将构成企业 AI 的长尾部分。其价值取决于部署位置、所执行任务，以及其如何与企业上下文、其他模型及人员协同工作。

实际检验标准在于：一个更小的模型若被恰当地置于工作流中，能否以更低的总体成本满足所需质量。

对于范围明确的任务，较小的模型可能已足够；而对于要求更高的步骤，则可能需要另一模型或人工判断。系统需具备选择该路径的标准，并有证据表明最终配置满足所需的质量与成本要求。

该评估应纳入软件开发生命周期（software development lifecycle）。团队应针对代表性工作任务，共同测试模型选择、信息检索、任务状态处理及升级机制；当任一组件发生变化时，应重复此类评估。

该评估应纳入软件开发生命周期。团队应针对具有代表性的实际工作，共同测试模型选择、信息检索、任务状态处理及升级机制；当任一组件发生变化时，应重复进行此类评估。

Token 价格是其中一个输入因素。9月的报告发现，23%的受访者将每百万 token 成本选为采购考量因素， 较8月的11%有所上升，这一差异在两组月度样本之间具有统计显著性。

一项任务的最终成本还取决于 token 消耗量、重试次数、工具使用以及人工干预。因此，模型选择应在工作流层面进行评估，以任务成功完成率为分母。

领导者与构建者需要一个共通的衡量指标，

职级分析结果表明，基础设施相关讨论始于不同的优先事项。

在副总裁和总监中，52%将总体拥有成本（total cost of ownership）选为采购考量因素，而个人贡献者（individual contributors）中该比例仅为4%。根据该报告针对小型独立群体所采用的检验方法，这一差异具有统计显著性。个人贡献者最常选择的采购考量因素是集成（integration），占比达58%。

领导者与构建者需将经济目标与决定成本的技术决策关联起来。领导者需理解架构决策所带来的经济后果；构建者则需要一种与自身可影响的技术决策挂钩的成本度量指标，以便权衡性能与成本。

每项成功完成任务的成本（cost per successfully completed task）可提供这种关联。它使团队能够检验检索方式、模型选择、缓存策略或任务状态管理等方面的变更，是否足以提升成果并证明其成本投入的合理性。

在采购更多 AI 基础设施之前，先找出瓶颈所在，

下一次基础设施决策应始于一个具体代理（agent）工作流，并清晰理解限制其性能的因素。

企业级 AI 领导者应将内存（memory）、集成（integration）和度量（measurement）视为基础设施设计决策。着手之处包括：

• 由应用或产品负责人明确定义“成功完成”的标准及可接受的人工干预程度。

• 由数据团队识别权威信息源及其访问规则。

• 将可观测性（observability）视作对待任何其他应用一样，由平台工程团队测量延迟、利用率、缓存行为及总体运营成本。

• 引入财务部门，就基准线达成一致，并验证最终产生的效益。

• 随后每次仅变更架构的一个部分，并测量每项成功完成任务的成本变化。

更智能的模型拓展了代理所能尝试的任务范围；而以任务为单位衡量的更智能基础设施，则使这些工作变得可靠且具备经济合理性。 

我们将在 VentureBeat 举办的 Agentic Infrastructure Stack Summit（代理式基础设施栈峰会） 上深入探讨推理经济学（inference economics），包括团队如何以更少内存和更少 token 实现更高产出。该峰会将于10月28日在旧金山举行，参会申请现已开放。

研究说明：调查数据来自 VentureBeat Intelligence 发布的9月 VB Pulse 《AI 基础设施与算力报告》（AI Infrastructure and Compute report），共有102位符合条件的受访者参与调研，其所在组织员工人数均不少于100人，其中包括代表其主要客户作答的顾问。所有结果均由自选样本自我报告。利用率相关发现基于68位处于生产环境中的受访者所提供的数据；其中55人报告其平均 GPU 利用率不超过50%，报告更高利用率的公司共13家。职级对比分析基于23位副总裁与总监以及26位个人贡献者。

8月与9月的 token 价格相关数据来自不同受访群体；二者之间的差异具有统计显著性。推理内存（inference-memory）问题同时涵盖了使用情况与评估情况。机构记忆（institutional-memory）、代理任务内存（agent-task-memory）及小模型（small-model）等论点属于分析师解读，并非该调查直接检验所得出的结论。