JOTO
Contact us
← AI 智库
知识库

谷歌放出Agent记忆教程,代码已开源!

2026 年 11 月 17 日

Google Cloud Tech 工程师 Annie Wang 公开多模态 Agent 记忆架构课程,开源 FashionMind 参考项目。方案提出三层记忆分治:结构化事实存入关系数据库,动态偏好交由向量库异步提炼,音视频仅存提炼结论;读写分离设计保障语音流不卡顿。

传统记忆方案的两个坑

为了解决健忘问题,很多团队会把订单、日程、聊天偏好统统倒进同一个向量数据库。这种做法看似省事,一旦用户追问精确事实,系统却只能靠语义相似度去猜答案。

谷歌在这套面向生产环境的参考架构里给出了相反的解法。先把记忆按性质拆成三层。

三层记忆架构示意图
三层记忆架构示意图

视频开篇把大模型的会话上下文比作电脑里的内存。你在五分钟前说过的话,模型都能直接拿来用,响应非常自然。

一旦这次对话结束,这块内存就会立刻释放。下一次用户重新走进系统时,面对的还是一个完全不认识自己的助手。

会话上下文内存类比图
会话上下文内存类比图

记忆工程的关键从来不是存下所有信息,而是决定哪些内容值得跨会话留下来。

想到长期记忆,不少开发者的第一反应就是上向量数据库。把所有聊天文本、购买清单和日程记录全部切成片段,算成向量一股脑写进去。

视频在四分半钟处专门拆解了这个误区。向量检索的强项是找意思相近的内容,它并不擅长核对一条确切的记录。

当用户问“我周四买过那件外套吗”时,向量库返回的是相似描述最多的片段。它很容易把心愿单里的同类衣服、或者上个月讨论过的款式拿来充数。

向量库查不准精确事实示意图
向量库查不准精确事实示意图

只要问题需要精确命中某一条记录,向量库的相似度匹配就会变成隐患。

三类记忆数据分开存储

什么数据算精确事实,判断标准非常具体。只要这件事带有编号、时间戳、状态变更和增删改需求,就属于结构化事实。

比如“周四晚上七点有客户聚餐”、“已经买过蓝色夹克”、“把西装加入心愿单”。在谷歌的架构里,这类记录直接存入 PostgreSQL、MySQL 或 Cloud SQL 的行列表格里。

结构化事实存入关系数据库示意图
结构化事实存入关系数据库示意图

当用户提出调整时,Agent 通过 add_to_wishlist 或 mark_purchased 等工具直接执行事务更新,读取时也是精确的条件过滤,不会靠模糊检索去碰运气。

另一类长期记忆是没有固定表头的动态理解。例如“这个用户怕热”、“她喜欢极简风格胜过夸张设计”、“穿深色系会让她更有自信”。

这类信息很难提前建好字段,往往要经过多轮对话甚至多场会话才能看清轮廓。它们才适合进入 pgvector、AlloyDB,或者谷歌托管的 Vertex AI Agent Engine Memory Bank。

动态偏好交由向量库管理示意图
动态偏好交由向量库管理示意图

在开源仓库的配置文件 memory_bank_config.py 里,谷歌团队设定了 7 个提取主题来约束总结范围。其中包含用户偏好、个人信息两个托管主题,外加穿衣风格认同、标志性单品、舒适度限制、视觉特征和场合背景五个自定义主题。

需要说明的是,这套分层设计并不绑定某一家云厂商的具体产品。无论是自己维护的 pgvector 还是托管的 Memory Bank,核心逻辑都是把规律性理解从精确事实里剥离出来。

记忆分层设计不绑定云厂商示意图
记忆分层设计不绑定云厂商示意图

面对能听能看的多模态 Agent,开发者还会遇到第三种数据,也就是摄像头传来的每秒一到两帧画面,以及 16 kHz 的连续麦克风音频流。

Annie Wang 在五分半钟处给出了非常明确的边界。原始音视频流本身不是 Agent 记忆,真正要存下来的是从画面和声音里提炼出的结论。

音视频只存提炼结果示意图
音视频只存提炼结果示意图

比如系统不需要永远保存用户穿戴时的每一帧像素,它只需要抽出一句“她又戴了那顶黑色帽子”或“这场晚宴偏正式”写进语义记忆。至于原始视频流和音频波形要不要留底,那是审计、回放或模型微调层面的独立存储决策。

读写分离:避免卡顿语音流

存储边界划清之后,下一步要解决的是运行时怎么把两边记忆顺畅地接回来。谷歌在演示里把读取动作放在了 Agent 开口说第一句话之前。

当新会话启动时,后端系统并行发起两次读取。一边从关系型数据库捞取即将到来的日程和心愿单,另一边向语义记忆系统检索用户的穿衣禁忌和风格偏好。

并行读取两类记忆示意图
并行读取两类记忆示意图

这样一来,Agent 从开口第一秒就同时握住了确定性事实与概括性理解。不需要让用户把尺寸、预算和喜恶重新交代一遍,回答自然就能接上上次的话题。

写入路径同样不能一刀切。视频把保存动作明确拆成了快慢两条轨道。

当用户发出清晰指令“把那件西装加入心愿单”时,Agent 必须在当前对话回合立刻调用工具写进数据库,因为用户期望马上得到已保存的确认。

明确事实当场写入示意图
明确事实当场写入示意图

风格偏好则完全相反。用户今天随口说一句“我觉得黄色挺好看”,并不代表他从此放弃了深色简约风,立刻覆盖长期画像反而会让记忆变得杂乱。

更重要的是延迟代价。提炼偏好需要调大模型通读对话上下文,这在文本聊天里多等几秒或许影响不大,在全双工语音对话里却是致命停顿。

根据配套演讲稿的测算,语音输出大约保持在每分钟 150 词的节奏。只要插进一轮等待模型响应再由用户确认的工具往返,就会白白烧掉 2 个语音轮次,带来 6 到 16 秒的尴尬冷场。

实时热路径只负责把确定的事实同步写进去,需要大模型动脑归纳的偏好放到后台异步提炼。

在 FashionMind 源码里,团队通过 ADK 的 after_agent_callback 挂载后台协程任务。

每次交互后由 gemini-2.5-flash 在热路径之外静默提炼会话并写回 Memory Bank,从而保证前面语音流始终顺畅不断句。

开源代码里的三处工程取舍

对照 Google Cloud Next 的演讲方案和 cuppibla/fashionmind 开源仓库里的最新代码,我发现工程团队为了扛住真实网络环境下的延迟和断连,对最初设想做了三处明显的取舍。

工程取舍对比图
工程取舍对比图

最初方案想在模型说话时顺便触发一个 recommend_products 工具往前端推商品卡片,但现行 agent.py 第 327 行特意移除了这个工具。

原因还是为了省去工具调用的往返回合。现在后端在下行流函数 _detect_products_in_text() 里直接用正则匹配文本里的商品名称,话音刚说出口,前端卡片就已经同步亮起。

配套演讲稿也给出了一条目录大小经验线。100 件以下直接全量放进上下文,100 到 500 件只保留名称与价格,超过 500 件再退回检索工具调用。

项目说明里补充提到,这套直接注入上下文的做法在当前约 200 件商品附近会触及 token 成本上限,且单一会话期内不会动态刷新记忆。

早期的文档和演示图曾主打零毫秒直接开麦,再靠 LiveRequestQueue 在后台把记忆硬插进对话流。

而在现行 main.py 里,团队特意延后了实时音频流起步。

代码里的 _startup_task 会先并行等待 Memory Bank 召回与数据库上下文查询写入 session.state,超时上限分别为 8 秒和 2 秒,等记忆准备妥当后再放开实时音频连接。

在 services.py 的注释中可以看到,团队刻意选择了本地的 InMemorySessionService,暂时没有启用远程的 VertexAiSessionService。

因为在连续语音流下,每次数据块都要往远程服务追加 append_event 记录,不仅叠加延迟,长时间流中途一旦碰到 OAuth 凭证刷新还容易导致连接异常断开。

先保住当下这一通电话的稳定不断线,把跨会话记忆沉淀交给异步后台处理,成了更务实的选择。

写在最后

回看谷歌开源的这套 FashionMind 项目,它在架构上并没有用多复杂的算法,核心就是把不同性质的数据拆开:有确定状态的日程和订单走关系库 SQL,模糊的长期偏好走异步大模型总结,原始音视频流提取完结论后不进在线记忆库。

下次从零搭建带记忆的语音或视觉应用时,不妨先照着这条分界线画清你的存储架构图,再动手写第一行代码。

JOTO 企业落地观察

  • 企业部署多模态 Agent 时,必须在架构初期就明确区分「可验证事实」与「概率性偏好」——前者需强一致性事务保障,后者依赖异步归纳,混用同一存储将导致语义漂移与响应不可控。
  • 语音交互场景下,记忆读取的延迟容忍度极低。企业若采用向量库承载偏好,必须配套实现后台异步提炼+本地缓存机制,否则实时语音流将因等待大模型响应而频繁断句。
  • 开源项目中放弃远程会话状态服务、改用本地内存暂存,揭示了一个关键取舍:在边缘设备或弱网环境下,「单次会话稳定性」优先级高于「跨会话状态强一致」,这对 FDE 驻场共创中的现场调试策略有直接影响。
  • 音视频原始流不进入在线记忆库,意味着企业知识工程需额外构建离线归档管道——该管道不参与实时推理,但支撑后续 RAG 中的多模态特征重提与合规审计,属必须补全的基础设施。

立即咨询 JOTO

JOTO 提供覆盖企业智能体规划与搭建、AI 平台私有化部署、RAG 知识工程、AI 安全治理、FDE 驻场共创及持续运营优化的全周期 AI 落地服务,帮助企业把验证中的 AI 能力转化为安全、可控、可持续迭代的生产力。 联系 JOTO 获取 AI 落地咨询

想把这些做法用到你的业务里?

留下你的场景和痛点,我们帮你判断从哪一步开始。

联系我们
Contact Us

Start your enterprise AI rollout

Tell us your industry, team, and current pain points. We'll get back to you within one business day to help you decide what to tackle first, what data to prepare, and which platform fits.

WeChat
Scan to add us for a 1:1 chat
JOTO WeChat consultation QR code

Tell us what you need

Once we receive your details, we'll be in touch within one business day.