一文搞懂：RAG、Agent与多模态的行业实践与未来趋势

ML-Summit会议大模型内容分布

RAG：大模型的动态知识引擎，解决模型静态知识边界、时效性与可信度问题。

Agent：大模型的智能执行中枢，赋予模型自主规划、决策与工具调用能力。

多模态：大模型的感知升级底座，突破单一模态理解限制，实现真实世界全息认知。

知识增强（RAG）→ 行为智能（Agent）→ 感知升级（多模态）→ 完整智能体

大模型在很多领域表现出色，但依然存在局限性，这些局限性使得RAG成为大模型的重要补充。

模型能力：大模型训练完成后模型的能力就固定了。比如：我们问ChatGPT东方甄选小作文的事情，ChatGPT表示不知道。原因是：GPT-4训练数据知识收集截止到2023年10月份。RAG通过外挂实时知识库，可以有效改善这类问题。

ChatGPT时效性

数据隐私：大模型很难覆盖隐私数据和私域数据，本地部署RAG系统，也可以改善此类问题。 

可解析性：RAG检索结果提供事实依据，减少猜测性回答。同时生成答案可标注来源文档，增强可信度。 

成本优化：长上下文模型，处理全文输入成本高，RAG检索关键片段压缩输入长度，使得RAG在处理长文本时更加效。 

LLM与RAG差异

RAG不仅解决大模型的局限性，也带来更高的生成质量和成本优化，RAG可以根据不同领域的需求，定制化地提供专业答案。

多模态文档结构复杂（注：图源网络）

目前针对复杂文档结构处理链路包含四个阶段：文档解析器（ocr识别及坐标、图片识别及坐标、工具解析器等）、文档结构化（为数据建立索引顺序）、文档理解（数据整理为可序列化的结构）。整体看文档的解析链路长，步骤多，内容不好校核。

复杂文档常规解析链路（注：图源网络）

多模态模型提取文字及视觉问答

多模态处理文档不仅可以将不同模态的数据（文本、图像、表格）映射到同一个语义空间，进而提高数据的可用性和检索效率，也有利于模型对于文档的理解。

向量RAG与Meno RAG的差异

使用场景：若需求为静态知识快速检索（如客服标准问答），优先选择向量RAG；BGE（智源通用嵌入模型）、Jina Embeddings（长文本优化）。若需求为动态交互与终身学习（如个性化医疗助手），探索记忆驱动RAG Memo RAG（智源研究院）：KV缓存压缩 + 动态记忆索引。

Agent系统图

Agent通过结合LLM、规划、反馈和工具，形成一个完整的智能系统。Agent包含感知层、决策层、执行层，最终形成具有自主性、反应性、主动性和社会性。

已有不少Agent开源项目，通过项目实践可加深对Agent理解。Agent实践分为两种类型：自主智能体和生成智能体。

MetaGPT与AutoGen对比

MetaGPT和AutoGen各有特点，MetaGPT：软件公司的“数字CTO”；AutoGen：定制化AI的“乐高工厂。MetaGPT更适合需要全面自动化和协作的软件开发任务，而AutoGen更适合需要灵活定制和对话的LLM应用开发。

现实世界任务往往过于复杂，单Agent难以胜任，需要多个Agent协作。以漫画图所示，从一个需求到最终交付的产品。首先：计划、需求分析、框架设计、系统方案、编码实现、功能性测试，最后是产品交付。如此复杂的系统需要多人合作，Multi-Agent系统在处理复杂任务方面具有显著优势。

单智能体与多智能体，无论在任务类型与核心技术都存在明显差别。

单智能体与多智能体对比

1. 任务解构能力：通过分布式子任务分工协作，Multi-Agent系统能够分解任务，提高了任务处理的效率。

2. 效能突破边界：通过并行架构和冗余容错设计，Multi-Agent系统能够显著提高计算效率和系统鲁棒性。

3. 动态环境适应：通过实时交互网络，Multi-Agent系统能够快速适应动态环境，更好地应对复杂变化环境。

应对上述问题存在的方案：

1. 复杂任务规划，通过分层的方式逐步解决复杂任务。

2. 动态环境适应：元学习（Meta-Learning）+ 世界模型可以提高Agent在动态环境中的适应能力。

3. 多智能体协作：通过博弈论和联邦学习，多智能体系统实现高效的协作。

4. 可解释性提升：因果推理模型 + 决策树蒸馏可以提高Agent的可解释性，Agent的决策过程更加透明。

5. 价值观对齐：基于人类反馈的强化学习（RLHF）可以解决Agent的价值观对齐问题。

Agent行业应用效果

Agent的落地应用始终面临真实世界的复杂性挑战。要处理工业质检中的视觉缺陷检测、金融报告中的图表解析等任务，必须突破单模态限制——这正是多模态大模型的技术使命。

多模态大模型的应用非常广泛，涵盖了多个行业和领域。本文分享三个团队的工作，紫东太初多模态预训练、360团队多模态世界目标检测、腾讯团队视频号多模态审核。

将目标检测、分割、OCR等传统CV任务统一到图文大模型中是紫东太初项目中的核心技术之一。使用LLM的自回归统一编码预测，在统一表达的同时，显式增强了图文大模型的局部感知能力。

任务设计：为了加强多模态大模型视觉局部理解能力，在MLLM回归任务中统一传统CV任务，数据集新增了900k条 包含box，mask，细粒度标准的定位数据。不同的多模态任务通过指令跟随实现，比如指代检测、指代分割等。

CV与文本任务统一（注：紫东太初团队在ML-Summit大会分享）

训练策略：第一阶段使用图文数据对，实现模型跨模态间对齐；第二阶段，使用多模态指代任务以及一系列细粒度任务，增强模型数据能力。第三阶段，运用强化学习，让模型更好跟随用户指令，明白使用意图。

不同阶段训练策略（注：紫东太初团队在ML-Summit大会分享）

模型效果：训练多模态大模型不仅有优秀的通用能力，也拥有视觉定位功能。视觉Grounding任务超越同期最优定位优化模型CogVLM-17B首次在目标检测、开放目标计数任务上精度超越多个目标检测、目标计数专有模型。

360研究院的开放世界目标检测技术，已广泛应用于智能硬件、自动驾驶等领域。传统小模型因泛化能力不足难以应对开放场景的检测需求，而该任务恰恰是多模态大模型构建通用感知能力的关键环节。检测能力为何成为多模态大模型的必备属性？其必要性主要体现在以下四方面：

模型层面：引入垂类大模型。

强大的自然语言处理能力，准确识别潜在的违规信息。多模态模型可以多种类型的数据，全面覆盖审核需求。

审核层面：分甬道审核流程。

疑似低违规（白甬道）：对于疑似违规程度低的内容，简化审核流程，减少人工干预，从而大幅提高审核效率。

疑似高违规（黑甬道）：对于疑似违规程度高的内容，并提供违规信息的预警，帮助审核员集中精力处理高违规内容。

视频号审核系统解决方案

多维度特征输入：视频图片，文本内容（标题、图片OCR、ASR、评论）等多维度数据，帮助模型更准确地判断是否有害。

模型基座预训练：模型辅助+人工标注的方式构建垂类场景预训练数据集，选择通用多模态基座在垂类数据上预训练。

数据优化与微调：基于人工审核反馈，进行了多轮迭代优化训练，确保其在实际应用中具备更高的准确性和鲁棒性。

多元信息数据流融合

腾讯视频审核系统融合文本RAG（政策库检索）与多模态内容理解，通过审核Agent实现违规内容主动拦截。

• 算法层面：模型将从网络架构、动态可学习、多模态对齐统一展现出全模态能力（AGI）

• 产品层面：将会看到越来越多以大模型为基础复杂系统，具有人机协同交互能力。

• 领域层面：在各垂类领域深度结合，推动社会资源的重构。能力由软到硬，AI机器人将直接用于真实世界。