AI智能体无法修复其无法诊断的基础设施故障

AI基础设施故障难以诊断，因为一个系统中的故障会在多个其他系统中产生症状。当训练任务变慢时，GPU仪表板可能显示资源争用，数据管道报告停滞，存储系统开始抛出I/O告警，而每条告警都指向不同的修复方案。基础设施团队能看到所有信号，却要花费数小时来确定故障起始点，与此同时昂贵的GPU算力处于闲置状态。

随着企业构建横跨GPU、存储、网络、数据管道及混合环境的AI工厂，这种排查工作变得更加困难，因为目前大多数AI工厂监控仍依赖每个领域各自独立的工具。Virtana开展的《AI工厂现实检验》（AI Factory Reality Check）调查面向美国和英国的企业决策者，结果显示：59%的美国企业和53%的英国企业无法跨基础设施领域自动识别AI工作负载故障的根本原因。

Virtana总裁兼首席执行官保罗·阿普尔比（Paul Appleby）表示：“一旦厘清因果关系，就能实施修复。如果无法抵达因果关系层面，你实际上只是朝墙上盲目投掷飞镖，试图弄清发生了什么以及如何修复。”

规模扩大使AI故障更难追踪

来自董事会的压力促使企业通过已部署的基础设施来展示AI进展，因此许多企业先建设后监控，甚至根本不做监控。处理大部分此类监控任务的传统工具，其设计前提为稳定、边界明确且服务拓扑可预测的系统；但在AI工厂中，调度器持续在混合环境中迁移工作负载，资源消耗则以非线性脉冲方式起伏涨落。

基于阈值的告警机制需要一个正常性能基线作为参照，而66%的美国企业运行AI基础设施时缺乏可靠的性能基线。仅有34%的美国企业和26%的英国企业将AI工作负载性能描述为“高度可预测”，而在员工人数超过50,000人的美国组织中，这一比例进一步降至25%。这意味着运行最大规模AI工厂的企业，恰恰最缺乏预判这些工厂下一步行为的能力。

为控制高端AI硬件成本，两国众多企业正通过在混合环境中重新平衡工作负载及整合系统来提升单位效率，而所有这些操作均在系统满负荷运行状态下进行。每一次此类调整都会改变整条技术栈上的依赖关系与资源争用状况。

阿普尔比表示：“若缺乏系统级可观测性，组织便无法判定这些变更对结果、成本或可靠性的影响。他们持续优化自己尚未完全理解的AI系统，并在每次变更中引入风险。”

追踪根本原因需建立整个AI工厂的模型

根本原因分析必须确定告警在分布式系统中的起源位置；在AI工厂中，这意味着需同时搜索GPU、CPU、内存、存储、网络、编排系统及数据管道。

英国企业中实现自动化检测的比例远高于实现自动化诊断的比例。75%的企业将自动化告警作为AI工作负载故障后的首要响应手段，而仅47%的企业能跨全部基础设施领域自动识别根本原因。其余企业要么仅看到单一领域，要么需人工跨工具关联信号，或召集多个团队耗时数小时乃至数天。在美国，25%的企业以在彼此割裂的控制台间手动调查作为事件响应的起点。

阿普尔比表示：“存储瓶颈导致数据管道性能下降，进而使训练任务停滞，最终引发GPU资源争用。”传统监控系统将这三起事件分别登记于三个独立领域。每一事件在技术上均准确无误，但无一能指出实际发生的情况。

在各领域单独添加监控探针，仍使上述三起事件彼此割裂。AI工厂需要一种统一的全AI执行系统运行模型，该模型须实时关联来自所有领域的连续、高保真遥测数据，包括编排系统与应用行为。该模型还必须维护一份实时拓扑图，清晰呈现工作负载、服务与基础设施之间的相互依赖关系，从而可将GPU争用现象回溯至引发该问题的存储瓶颈。每当调度器迁移工作负载，该拓扑即发生变化，因此模型必须持续更新。

英美两国领先企业均将“AI与基础设施的统一可见性”列为首要需求，“无需人工关联的AI驱动型根本原因分析”列居第二；这两项需求在所有角色群体与营收区间中均位居前列。可观测性市场本身已是数十亿美元规模，但增加更多领域专属监控工具，并不能解决本研究所揭示的跨领域可见性与因果关系难题。

AI智能体在实施修复前需先确立因果关系

大型AI工厂将需要自主修复能力，因为这些环境的吞吐量与复杂度已超出人工协调所能可靠应对的范围。在英国，日常运行AI工作负载的基础设施与站点可靠性工程（SRE）从业者中，仅有23%将性能描述为“高度可预测”。阿普尔比解释称，企业必须先部署上述遥测数据与实时拓扑模型，然后AI智能体才能在这些系统上执行操作。

他表示：“若缺乏这一基础，AI智能体将继承人类运维人员所受制的相同盲区，并以机器速度放大这些故障。在系统上下文不完整的情况下采取行动的智能体，不仅无法更快解决事件，反而会制造新的事件。”

Virtana通过其Agentic Observability平台应用该方法。该平台在本地、虚拟化及公有云环境中，维护一份覆盖完整AI执行栈的共享模型。其自主智能体实时关联GPU利用率、Token需求、模型行为及底层基础设施性能，并为每一项根本原因判定提供证据支持。

成本归属与审计追踪同样依托于同一套遥测数据

在英美两国，31%的企业将“从现有AI投资中获取更清晰的投资回报率（ROI）指标”列为进一步规模化扩展的最重要前提条件。

阿普尔比表示：“无法在基础设施层面测量GPU利用率、单个工作负载成本及效率的企业，便无法为其追加投资提供有力依据。他们可以观测支出，却无法对其进行治理。”

高管层与负责运行AI基础设施的工程师，对本组织是否具备故障诊断能力给出了不同答案。在英国，59%的高管声称其组织能跨全部基础设施领域自动识别根本原因，而实际接收告警的基础设施与SRE工程师中仅有34%持此观点，这一差距大于美国调研所发现的差距。IT领导层在多数英国组织中对AI投资拥有最终审批权，其对诊断能力的信心程度最高。这是一个治理问题，因为批准AI预算的人员所依据的诊断就绪评估，与其自身工程师的认知并不一致。

英国企业也在英国《通用数据保护条例》（U.K. GDPR）及金融服务业、医疗保健业和关键国家基础设施等行业的监管框架下部署人工智能，而这些框架要求保留审计追踪记录并进行成本归因。即便如此，随着人工智能工厂需求的增长，39%的英国企业正将安全与合规审查置于较低优先级。他表示，主权问题将在美国以外地区成为更突出的人工智能议题，因为各国政府及公民正推动掌控自身命运。

Appleby 表示：“证明人工智能工厂正常运行的系统，也正是满足监管机构、审计人员或董事会质询所需的系统。”“缺乏可观测性的主权，只是一种无法被证实的主张。”

企业级人工智能工厂的发展阶段，比其支出水平所暗示的更为早期。

公众叙事认为全球2000强（Global 2000）公司正以大规模方式采用人工智能，但 Appleby 指出，目前大部分规模最大的人工智能基础设施投资来自超大规模服务商（hyperscalers）和云平台。

他表示：“其发展程度比投资规模所显示的更为早期。目前全球范围内，鲜有大型企业真正建成、规模化部署了工业级人工智能服务，并能高效运营。”

但若企业在尚未建立可观测性与控制能力之前就盲目扩充容量，则只会构建出一个规模更大、成本更高的既有运营问题版本。

他表示：“淘金热正发生在那些超大型服务提供商身上。而对于大型企业而言，仍有机会把这件事做对。”