本次QCon重要主角毫无疑问非大模型莫属，两天关于大模型的三个方面，也正好能对应当前大模型架构的经典分层，即：应用层、工具层、模型层&AI Infra：
应用层-大模型应用：主要以RAG&AI Agent初代的模式透出，主要的落地场景包括内部数据分析-GBI即生成式BI、研发辅助提效-生成式Code、面向外部用户和小二的知识库问答-如ChatPDF； 工具层-应用构建能力：主要介绍如何高效快速去构建自己场景的大模型应用（重点在AI Agent的构建），有应用构建工具-LangChain， Agent开发框架如：MetaGPT，MaaS平台如ModelScop-Agent&Agents for Amazon Bedrock等； 模型及基建层-大模型优化加速：核心在模型推理加速上的探索，未来以应对有限算力情况下，大模型应用规模化投产的性能和安全性诉求，目前也是业界争相要探索突破的重点。
AI Agent是什么？
AI Agent的定义
AI Agent 的主要组成部分
子目标分解：agent将大任务拆分为更小的可管理的子目标，使得可以有效处理复杂任务。 反思与完善：agent对历史动作可以自我批评和自我反思，从错误中学习并在后续步骤里完善，从而改善最终结果的质量。
短期记忆：上下文学习即是利用模型的短期记忆学习。 长期记忆：为agent提供保留和召回长期信息的能力，通常利用外部向量存储和检索实现。
对模型权重丢失的信息，agent学习调用外部API获取额外信息，包括当前信息、代码执行能力、专有信息源的访问等。
行动模块是智能体实际执行决定或响应的部分。面对不同的任务，智能体系统有一个完整的行动策略集，在决策时可以选择需要执行的行动，比如广为熟知的记忆检索、推理、学习、编程等。
人机协同模式
AI Agent应用
业界相关AI Agent举例
应用名 | 应用地址 | 应用描述 | 是否开源 |
AgentGPT | https://agentgpt.reworkd.ai/zh | 基于浏览器的 AutoGPT 实现，可通过无代码平台访问。 | 是 |
AI Legion | https://github.com/eumemic/ai-legion | 一个让智能体协同工作的平台，用 TypeScript 编写。 | 是 |
AutoGPT | https://agpt.co/?utm_source=awesome-ai-agents | 使 GPT-4 完全自动化的实验性开源尝试，在 GitHub 上拥有超过 14k星标。 | 是 |
Automata | https://github.com/emrgnt-cmplxty/automata | 根据项目的上下文自动生成自己的代码。 | 是 |
AutoPR | https://github.com/irgolic/AutoPR | AI 生成的拉取请求来解决问题，由 ChatGPT 提供支持。 | 是 |
Autonomous HR Chatbot | https://github.com/stepanogil/autonomous-hr-chatbot | 由 GPT-3.5 提供支持的自主 HR 助理。 | 是 |
BabyAGI | https://github.com/yoheinakajima/babyagi | 使用人工智能管理任务的简单框架。 | 是 |
BabyBeeAGI | https://yoheinakajima.com/babybeeagi-task-management-and-functionality-expansion-on-top-of-babyagi/ | 任务管理和功能扩展。 | 是 |
Loop GPT | https://loop.research.microsoft.com/ | 用于创建自主人工智能代理的开源工具。 | 是 |
LocalGPT | https://localgpt.com/ | 用于构建自主人工智能代理的开源工具。 | 是 |
Mentat | https://mentat.ai/ | 自主人工智能代理的开源项目。 | 是 |
MetaGPT | https://metagpt.com/ | 用于创建自主人工智能代理的开源工具。 | 是 |
Mini AGI | https://miniagi.org/ | 自主人工智能代理的开源项目。 | 是 |
Multi GPT | https://multigpt.org/ | 用于创建自主人工智能代理的开源工具。 | 是 |
OpenAGI | https://openagi.ai/ | 用于创建自主人工智能代理的开源工具。 | 是 |
Open Interpreter | https://openinterpreter.org/ | 用于创建自主人工智能代理的开源工具。 | 是 |
Pezzo | https://www.pezzo.ai/ | 旨在简化提示设计、版本管理、发布、协作、故障排除等的开发工具包。 | 是 |
Private GPT | https://www.privategpt.io/ | 无需互联网连接即可与文档进行私人交互的工具。 | 是 |
PromethAI | https://github.com/topoteretes/PromethAI-Backend | 个性化人工智能助手，帮助实现营养和其他目标。 | 是 |
React Agent | https://reactagent.io/ | 开源 React.js 自治 LLM 代理。 | 是 |
Smol developer | - | 您自己的初级开发人员，通过 e2b 在几秒钟内完成部署。 | - |
Superagent | https://www.superagent.sh/ | 不是单个代理，而是一个无需编码即可创建代理的工具。 | 是 |
SuperAGI | https://superagi.com/ | 一个开源自主人工智能框架，支持开发和部署自主代理。 | 是 |
Sweep | https://sweep.dev/ | Github 助手可帮助修复小错误并实现小功能。 | 是 |
Teenage AGI | https://github.com/seanpixel/Teenage-AGI/blob/main/README.md#experiments | 一款受BabyAGI启发的智能体，可以回忆无限的记忆，在采取行动之前“思考”，并且在关闭后不会丢失记忆。 | 是 |
“Westworld” simulation | https://theolvs.github.io/westworld/ | 《西部世界》的多智能体模拟库，旨在模拟和优化多个智能体交互的系统和环境。 | 是 |
Voyager | https://voyager.minedojo.org/ | Minecraft 中由大语言模型驱动的终身学习代理。 | 是 |
Butternut AI | https://butternut.ai/ | 一款可在 20 秒内创建功能齐全、可随时启动的网站的工具。 | 是 |
Codium AI | https://www.codium.ai/ | 由人工智能驱动的交互式代码完整性开发工具使开发人员能够更快地交付软件并减少错误。 | 是 |
Commit | https://www.codium.ai/ | 软件开发人员的职业副驾 |
AI Agent应用
01
BI（Data Analysis） Agent - 生成式BI
LLM在金融智能应用研发实战与探索
数势大模型SwiftAgent在企业经营分析领域的应用
AIGC与数据分析融合打造数据消费新模式
需求可理解：通过自研NL2SQL专属大模型，针对相关数据相关函数如同比/环比/分组排序等函数进行增强。 过程可验证：通过交互界面上以自然语言的方式生成查询的解释，让用户容易去识别模型生成过程的对错，去保障生成过程的可信。 用户可干预：基于查询解释，用户可手动在查询结果的查询条件上进行调整查询条件，用确定性的手段获取正确性的结果。 结果可运营：通过实时针对结果，进行正误标记反馈持续优化大模型的生成正确性。
02
Coding Agent
aiXcoder 代码大模型在企业的应用实践：
https://qcon.infoq.cn/2023/shanghai/presentation/5683
基于CodeFuse的下一代研发探索：
https://qcon.infoq.cn/2023/shanghai/presentation/5681
大模型落地到代码助手场景的探索实践：
https://qcon.infoq.cn/2023/shanghai/presentation/5690
百度大模型驱动下的智能代码助手提效实践：
03
基于RAG的知识问答
挑战
从技术上看，AI Agent的发展仍然缓慢，大多数应用仍处于POC或理论实验阶段。目前几乎很少能看到能够在复杂领域场景中完全自主的规模化AI Agent应用。主要原因还是充当AI Agent大脑的LLM模型仍不够强大。即使是最强大的GPT4，在应用时仍面临一些问题：
1.上下文长度有限，限制了历史信息、详细说明、API调用上下文和响应的包含；
2.长期规划和任务分解仍然具有挑战性；
3.当前Agent系统依赖自然语言作为与外部组件之间的接口，但模型输出的可靠性值得怀疑。
此外，AI Agent的成本较高，特别是多智能体系统。在很多场景中，使用AI Agent与Copilot模式相比，效果提升不明显，或者无法覆盖增加的成本。大部分AI Agent技术仍处于研究阶段。最后，AI Agent可能面临诸如安全性与隐私性、伦理与责任、经济和社会就业影响等多方面的挑战。
