本文源自 Contextual AI 首席执行官和联合创始人 Douwe Kiela 近日发表了 RAG Agent 经验的演讲整理而来，主要介绍的当下中小型企业利用AI提效的困境以及如何破局，聚焦内部知识库RAG这一核心概念（如果不了解RAG，可以参考一文了解大模型应用基本概念），非常有参考价值，希望能给读者启发！
尽管人工智能体前景广阔，但企业在试点阶段后往往难以实现真正的价值。“context paradox”(“上下文割裂难题”)，即人工智能虽擅长复杂任务，却难以理解企业特定上下文场景，是一大障碍。本文基于[情境人工智能]首席执行官杜威·基拉（Douwe Kiela）的见解，专为所有在生产环境中部署检索增强生成（RAG）系统的人员而撰写。
文中将分享为财富500强企业扩展企业级人工智能时总结的十条关键经验，重点涵盖系统思维、专业化和生产就绪性等方面。
我是杜威·基拉，[情境人工智能]的首席执行官。接下来，我将深入探讨生产环境中的RAG，特别是RAG智能体，并分享我在人工智能研究和领导企业级人工智能公司过程中积累的宝贵经验。
最新一代大语言模型（LLMs）展现出了强大的推理能力。然而，要在企业环境中充分发挥其真正价值，就需要将这些智能体能力应用于“合适的”企业数据。在为人工智能智能体兴奋不已时，我们务必牢记那句永恒的格言：
“输入垃圾，输出垃圾”
只有正确设置上下文context，语言模型才能有效运行。
企业级人工智能的机遇与挑战
企业级人工智能带来了巨大的机遇，麦肯锡估计其可为全球经济增加44万亿美元的潜在价值。人人都渴望在这一领域分一杯羹，但也遭遇了不少挫折。许多人工智能副总裁面临着项目投资回报率（ROI）的巨大压力。《福布斯》的一项研究指出，只有四分之一的企业真正从人工智能中获益。
人工智能中的上下文割裂问题
为何会如此艰难呢？这类似于机器人领域的莫拉维克悖论：人类轻松完成的任务（如吸尘）对机器人来说却困难重重，而复杂任务（如下棋）对它们来说反而容易。
同样，企业级人工智能面临着“context paradox”。大语言模型在编码或解决数学问题等任务上表现出色，常常超越人类能力。但在将信息置于正确context方面，它们却困难重重。人类，尤其是专家，凭借多年的专业知识和直觉，能轻松做到这一点。
这一悖论是实现人工智能投资回报率的关键所在。当前的人工智能常通过通用助手来提供便利，提高效率。但企业追求的是“差异化价值”和业务转型。要实现更高价值，就需要更好地处理企业特定上下文场景；所需价值越高，对的要求就越高。
基于这一认识，[情境人工智能]于两年前成立。以下是大规模部署企业级RAG系统时总结的经验，重点是为财富500强企业构建强大的系统：
生产级RAG智能体十大实战经验
一图总结
1. 着眼系统，而非仅关注模型
语言模型令人印象深刻，但在企业级人工智能中，尤其是涉及检索增强生成（RAG）时，它们通常仅占整个系统的20%。我和我的团队最初在[Facebook人工智能研究]开创了RAG，它是使生成式人工智能与企业数据协同工作的标准方法。 人们常常将注意力完全集中在新的大语言模型上，而忽略了真正解决问题的周边系统。一个优秀RAG流程中的普通模型，可能比一个糟糕流程中的出色模型表现更好。应关注整个系统，模型只是其中一个组件。
2. 专业专注，积累专长
企业的专业知识是最宝贵的资产，目标是挖掘企业的知识。通用助手无法与企业内部的深厚专业知识相媲美。专业化是有效利用这些知识的关键。在[情境人工智能]，我们倡导“专业优于通用人工智能”。虽然通用人工智能（AGI）有其用武之地，但解决复杂的特定领域问题需要专业化才能取得更好的效果。在通用人工智能热潮中，这看似有悖常理，但专业化能让解决实际业务问题变得更加容易。
3. 数据是大规模竞争壁垒
随着时间的推移，员工流动，数据定义了一家公司。这些数据代表了公司的长期形象和竞争优势。常见的误解是，人工智能使用数据前必须完美清理。真正的挑战和机遇在于，让人工智能在大规模“嘈杂数据”上有效运行。 做到这一点就能释放差异化价值，构建竞争壁垒，因为独特的数据定义了你的公司。
4. 立足生产设计，而非仅着眼试点
一个残酷的现实是，构建试点RAG系统相对容易。一个框架搭配几份文档的演示，往往能从小范围人群中获得积极反馈。但向“生产环境”的跨越是巨大的：
文档规模从几十份扩展到数百万份。 支持数千名用户。 处理众多不同的用例。 满足严格的安全和合规要求。
现有的开源工具在这种规模下往往力不从心。试点和生产之间的差距很大。从一开始就按照生产要求进行设计，以避免代价高昂的错误。
5. 速度迭代优先，而非追求完美
在生产部署中，速度往往比完美更重要。尽早将RAG智能体推向真实用户，即使它只是最低限度可用。收集反馈并迭代（“爬坡”），使其达到“足够好”的状态。 过度追求完美会让从试点到生产的过渡变得更加艰难。基于真实用户反馈进行迭代，是企业级人工智能成功部署的关键。
6. 聚焦工程价值，而非琐碎事务
为实现速度和迭代，要确保工程师专注于创造商业价值和差异化，而非琐碎任务。工程师很容易陷入优化分块策略或完善提示语的工作中，而这些任务本应由强大的平台抽象处理。 让工程师从这些工作中解脱出来，专注于对竞争力真正重要的高影响力工作。
7. 让人工智能易于使用和集成
生产环境中有生成式人工智能并不意味着会被采用。如果为降低风险使系统变得不实用，或者用户不知道如何有效使用，系统往往会被闲置。让人工智能易于使用至关重要。 这不仅要让人工智能与企业数据协同工作，还要将其无缝集成到现有用户工作流程中。更紧密的工作流程集成能显著提高系统成功采用的可能性。
8. 打造“惊艳”时刻
推动系统使用需要用户粘性，而这通常源于用户瞬间感受到工具价值的“惊艳”时刻。设计入职流程和初始用户体验，让这个时刻尽快到来。 例如，在高通公司，我们的系统为全球数千名工程师提供支持，一名用户在一份尘封七年的文档中找到答案，瞬间解决了长期困扰的问题，激动不已。这些“小成就”是推动系统采用的强大动力。
9. 关注可观测性，而非仅追求准确性
准确性固然重要，但已成为基本要求。要达到100%的准确性往往是不可能的。企业越来越关注如何处理不可避免的误差（5 - 10%的差距）。 超过最低准确性阈值后，重点应转向通过可观测性管理误差。这需要强大的评估方法和审计跟踪，在受监管的行业中尤其如此。RAG系统中的 正确归因（将答案与源文档关联起来）至关重要。实施后处理检查，验证结论并确保回答有证据支持。
10. 志存高远
许多人工智能项目失败并非因为目标过高，而是过低。将生成式人工智能用于琐碎任务（如基本的人力资源查询），投资回报率极低，还往往沦为无人问津的噱头。 相反，设定雄心勃勃的目标，成功后能带来丰厚的投资回报。我们正处于变革时代，人工智能将重塑社会。从事人工智能工作的人有机会推动有意义的变革。不要满足于唾手可得的成果，要志存高远。
结论
关于演讲者
杜威·基拉是[情境人工智能]的首席执行官兼联合创始人，也是斯坦福大学符号系统专业的兼职教授。此前，他是Hugging Face的研究主管，以及Meta基础人工智能研究（FAIR）团队的研究负责人，在那里他开创了检索增强生成（RAG）等多项关键人工智能突破。他在多模态、对齐和评估方面的工作为人工智能领域树立了新标杆。
