斯坦福大学研究团队通过信息论视角重构了智能体系统设计，发现将算力前置投入到本地压缩小模型比盲目扩大云端推理大模型带来的性能提升高达5倍且成本极低。
智能体系统的隐形瓶颈与信息论重构
人工智能应用已渗透进我们工作的方方面面。从复杂的深度研究系统到代码助手 Claude Code，数百万用户每天都在与多模型协作的流水线交互。
这些现代工作流通常涉及海量信息的处理，生成的Token数量往往超过了前沿模型能够有效处理的极限。这种现象被称为上下文腐烂，它会导致模型性能随着输入长度增加而急剧下降。
为了解决这一问题，多模型系统应运而生。
它们协调多个模型来管理推理和记忆，突破了单一模型上下文窗口的物理限制。
虽然架构看似千变万化，但一种通用的设计模式在各个领域中反复出现。
这种模式包含较小的压缩器模型和较大的预测器模型。压缩器负责将原始长文本提炼成紧凑的摘要。预测器则消费这些摘要并生成最终答案。
这种压缩器-预测器的组合在当下非常流行。
其设计过程长期以来却缺乏科学指导。工程师们主要依赖昂贵的试错法来调整系统。我们缺乏对压缩器和预测器如何共同影响下游性能的基本理解。
特别是我们无法确定性能的提升是归功于压缩器的提炼能力，还是预测器的推理能力。
这种归因难题带来了直接的实际后果。
每当新模型发布，从业者想要替换组件时，都没有原则性的方法来确定应该改进哪个模块。他们往往不得不从头开始对整个复合系统进行昂贵的参数扫描。这造成了巨大的算力浪费和开发效率低下。
斯坦福大学的研究团队为了解决这一空白，引入了信息论视角。
他们将压缩器视为原始数据和预测器模型之间的噪声信道。这一框架允许我们评估两个模型之间的通信质量，而不是像过去那样凭感觉行事。
研究团队提出使用原始上下文与其压缩版本之间的互信息作为压缩效率的任务无关代理。这类似于困惑度在语言模型评估中作为下游性能代理的角色。这种方法的核心在于量化压缩过程保留了多少原始信息。
通过这种信息论视角，研究人员对五个不同领域的数据集进行了广泛的实证研究。
这些数据集包括 LongHealth、FinanceBench、QASPER、WildChat 和 FineWeb。研究涵盖了三个主流模型家族，旨在回答关于算力分配、压缩效率和设计权衡的关键问题。
压缩器规模决定系统性能上限
在资源有限的前提下，究竟应该将算力投资在前端的压缩器上，还是后端的预测器上，这是所有系统架构师面临的核心抉择。
研究发现压缩器的质量在决定整体系统性能方面占据压倒性的主导地位。
将 Qwen-2.5 压缩器的规模从10亿参数扩展到70亿参数，系统的整体准确率提升了60%。
相比之下，将后端的预测器从70亿参数暴力扩展到4050亿参数，准确率的提升却仅有12%。这一数据对比揭示了当前大模型系统设计中的一个巨大误区。
过去业界往往倾向于迷信超大参数量的推理模型。人们认为只要后端模型足够聪明，就能处理任何输入。
实验数据表明，如果前端的压缩过程丢失了关键信息，后端再强大的推理能力也无力回天。
这建立了一个简单的设计原则：算力前置。
我们应该将更多的计算资源投入到压缩器中。这些压缩器甚至可以在本地设备上运行。这样做可以大幅减少对云端大规模托管预测器的依赖。
在 LongHealth 这样复杂的医疗长文本问答任务中，70亿到80亿参数的模型比10亿到15亿参数的模型准确率高出3.1倍。
它们甚至超过了仅使用 GPT-4o 的基线性能4个百分点。在 FinanceBench 金融数据集上，同样的趋势依然存在。
7B至8B规模的压缩器模型表现出的准确率是1B至1.5B模型的2.6倍。它们能够恢复 GPT-4o 在全量上下文下97%的基准性能。
这种缩放行为在 Gemma-3 模型家族中同样得到了验证。这说明该规律并非特定模型的特例，而是大语言模型在处理压缩任务时普遍存在的共性。
下游性能是压缩器规模的函数。随着模型尺寸的增加，下游准确率呈现出清晰的上升曲线。这种增长并非线性，而是在达到一定规模后呈现出显著的跃升。这暗示了模型在理解和压缩复杂信息时存在某种能力涌现的阈值。
这种现象符合信息论中的数据处理不等式。后续的处理步骤无法恢复在传输过程中已经丢失的信息。设计高效智能体系统的关键在于确保信息在进入下游环节时保持最高的保真度。
我们还发现不同模型家族在压缩能力上存在显著差异。Qwen-2.5 模型在压缩任务上表现尤为出色。它们往往能以更少的参数量实现比 Llama 和 Gemma 系列更高的压缩质量。这可能与模型训练数据的分布和架构设计有关。
大模型的高比特效率与次线性算力成本
一个反直觉的现象发生在计算成本的微观分析上。较大的压缩器模型实际上更加节省Token。它们生成的摘要长度往往比小模型更短。
研究发现，在许多模型家族中，扩大压缩器规模不仅能提高准确率，还能产生更简洁的压缩文本。70亿到120亿参数的压缩器比10亿到15亿参数的同类模型在Token效率上高出4.6倍。
Qwen-2.5 模型相比 Llama 和 Gemma-3 表现出更强的简洁性。这表明模型在沟通配置文件上存在显著差异。大模型具备更强的语言概括能力和信息提取能力。它们能用更少的字数把事情说清楚。
这种更少但更好的特性导致了一个令人惊讶的结果。每代生成的浮点运算次数（FLOPs-per-generation）相对于模型参数量呈现出次线性增长的趋势。通常我们认为模型越大，运行成本越高。
在压缩任务中情况并非完全如此。以 Qwen-2.5 为例，当模型从1.5B扩展到7B时，尽管参数量增加了数倍，但由于输出长度的显著减少，实际的生成计算成本仅增加了1.3%。
这意味着我们几乎可以在不大幅增加推理延迟和算力消耗的前提下，通过替换更大的压缩模型来获得显著的性能提升。这一发现彻底打破了模型规模与计算成本成正比的传统认知。
这种次线性增长为在边缘设备上部署更强大的压缩器提供了理论支持。我们可以在用户的笔记本电脑或手机上运行几十亿参数的模型。它们不仅处理速度快，而且消耗的电量和算力远低于预期。
这种效率的提升本质上来源于大模型更高的信息密度。小模型往往因为理解能力不足而产生大量冗余、重复或毫无意义的文本。大模型则能精准捕捉核心语义，剔除无关噪声。
我们将参数量与输出Token计数结合，估算了每个模型家族和规模的每代 FLOPs。结果显示，虽然大模型单次推理的计算量大，但由于生成的步数少，总计算量并没有爆炸式增长。
这一结论在 LongHealth 和 FinanceBench 上都得到了验证。在这些任务中，准确率随压缩器规模提升，而生成的Token数量随之下降。这种双重红利是智能体系统优化的金矿。
互信息作为系统性能的通用度量
为了深入理解为什么更大的压缩器表现更好，研究引入了率失真理论。在这个框架中，率代表压缩内容中保留的关于原始上下文的互信息量。失真则对应预测任务中的错误率。
研究人员希望选择那些能提供最大任务相关信息的压缩器。理想情况下，这些信息应以尽可能少的Token进行传达。下游的问答准确率和压缩长度并不能完全捕捉压缩质量。
他们转而使用信息论框架。利用蒙特卡洛估计器来估算上下文与生成的压缩内容之间的互信息。这一指标不依赖于特定的下游任务，反映了通信信道的本质容量。
结果显示，随着压缩器规模的增加，互信息量显著提升。更大的压缩器模型在原始文档和摘要之间承载了更多的互信息。
在 LongHealth 数据集上，Qwen-2.5 和 Gemma-3 模型生成的压缩内容在最大模型尺寸下，其互信息量已经接近理论饱和值。
这主要发生在文档内容高度异质化的数据集上。在 FinanceBench 上，互信息在30亿参数规模时就已经饱和。这表明对于特定类型的文档，中等规模的模型可能已经足够捕捉核心信息。
结合互信息的缩放效应和更大压缩器省略更少信息的观察，我们发现大模型具有更高的比特效率。这表明增加的模型容量和智能不仅体现为更好的记忆力，也体现为更高的信息密度。
压缩器的输出承载的互信息量高达小模型的5.4倍。率失真分析揭示，信息率（每Token的互信息）与下游性能和困惑度强烈相关。相关系数 r 达到 -0.84，R平方值为 0.71。
这为预测系统性能提供了一个实用的代理指标。开发者不需要运行完整的端到端评估。他们只需计算压缩内容的互信息或困惑度，就能以极高的置信度预测系统的最终表现。
我们还发现预测器并不偏好同一家族的压缩器。Llama 预测器配合 Qwen 压缩器的效果往往优于全 Llama 阵容。这证实了高质量的信息是通用的，不依赖于特定模型架构的私有语言。
通过对不同压缩提示条件的消融实验，研究确认了缩放结果的稳健性。无论是指示模型输出3句、6句还是9句，大模型在准确率、比特效率和互信息上的优势都保持一致。
深度研究应用中的成本与性能革命
在实际应用演示中，研究团队将这些发现应用于简化的深度研究流水线。在这个流程中，单一预测器聚合来自多个压缩器的输出。这模拟了真实世界中处理海量文献的场景。
该系统使用 Qwen-2.5-14B 这样的本地压缩模型，配合云端的 GPT-4o 预测器。在 DeepResearch Bench 基准测试中，该组合达到了前沿模型准确率的99%。
更令人振奋的是成本的降低。通过在本地进行压缩，API 成本降低了74%。
现在的 MacBook 笔记本电脑和 Google Pixel 手机已经具备运行高达270亿参数模型的能力。这些设备可以在本地处理大量数据，只将高度浓缩的精华发送到云端。这不仅节省了金钱，还提高了隐私安全性。
Deep Research 的缩放实验进一步证实了之前的发现。更大的预测器模型确实能持续提高得分。更大的压缩器则在几乎不增加 API 成本的情况下提供了实质性的性能增益。
作为一个基准对比，研究评估了将未压缩的网页搜索数据直接提供给 GPT-4o 预测器的结果。配备 Qwen-2.5-14B 压缩器的系统不仅得分高出2.3%，而且成本仅为未压缩基线的28.1%。
这彻底改变了我们对智能体成本结构的看法。
过去我们认为高性能必然伴随着高昂的 API 账单。现在我们知道，通过巧妙的架构设计和算力前置，我们可以鱼与熊掌兼得。
这种本地强压缩+云端强推理的混合架构，完美利用了消费级硬件日益强大的计算能力。
这种架构还具有极佳的可扩展性。
随着未来端侧芯片性能的进一步提升，我们可以部署更大、更聪明的压缩器。
这将进一步挤压云端推理的需求，将智能的重心向边缘侧推移。
