谷歌提出StreamVibe：让Agent在交互中读懂用户动态意图

Personal Agent 的核心挑战：从记忆过去到理解当下

近期，Meta 的 Muse、OpenAI 的 Dot 等产品相继推出，让 Personal Agent（个人智能体）再次成为大模型领域的关注焦点。相比传统的对话助手，这类 Agent 不再局限于回答问题，而是能够结合用户的个人背景、历史记忆与应用上下文，主动执行任务并持续推进长期目标。一个更具主动性、能够长期陪伴用户的 AI 助手，正在逐渐成为现实。

然而，长期记忆只是 Personal Agent 的起点。记住用户过去做过什么，并不代表能够理解用户此刻需要什么。在真实场景中，用户往往不会明确说出每一个需求。做菜时反复查看步骤、操作软件时遇到困难，或任务进行中临时改变计划，这些细微的行为与环境变化，都可能暗示着新的协助需求。如何从持续变化的环境中捕捉这些信号，理解用户尚未表达的意图，并决定何时、如何提供帮助，是 Personal Agent 走向真实世界需要解决的关键问题。

三类用户意图需统一建模与评测

“水开了提醒我”和“帮我把这道菜做好”，对助手提出的要求并不相同。前者已经给出明确的触发条件，后者只描述目标，需要助手结合正在发生的事情，判断何时介入、提供什么帮助。

真实任务还会不断产生新信息。用户可能已经完成某一步，刚才有用的建议此时就成了重复提醒；也可能临时修改要求，原先的计划随之失效。即使保存了完整历史，助手仍需要分清：哪些要求仍然有效，哪些步骤已经完成，眼前的新情况意味着什么。

StreamVibe 因而把主动视频交互放进持续变化的用户—助手—环境关系中。模型既要理解当前视觉证据，也要结合此前交流和用户的新反馈，更新对任务与意图的判断。

这也为 Personal Agent 提出了更具体的能力要求：在记住过去的同时，持续从新的交互中获得证据，形成对当前任务的有效理解。

StreamVibe-Bench：覆盖显式、隐式与动态意图的评测体系

团队构建了 StreamVibe-Bench，同时覆盖现实活动与数字界面任务，并按意图的明确程度和变化方式划分三个层次。

• 显式意图由用户指定事件或条件，例如“水烧开时告诉我”，覆盖单次事件、状态转变和重复事件。
• 隐式意图只给出总体目标，例如“帮我完成这道菜”，助手需要根据过程推断帮助时机，覆盖指导、学习、监测与工具使用。
• 动态意图进一步考虑任务中的需求变化：Revision 修改已有要求，Composition 叠加新目标或约束，Interruption 插入需要即时处理的问题。助手需要更新当前任务状态，同时继续维护仍然有效的需求。

基准共包含 4,100 个评测样本、20,546 个帮助点和 183.4 小时视频，三类意图的样本量分别为 600、2,000 和 1,500。每个候选帮助点包含响应时间窗口与参考回答，经四位评审独立核验、全部通过后才保留。

评测同时考察单个时刻的局部判断和完整视频流中的持续交互。后者让模型承接自己的历史输出继续运行，能够暴露重复提醒、漏答、错误累积和意图跟踪失误。

两阶段训练与运行时状态跟踪协同优化

StreamVibe 将问题分成相互配合的两个层面：训练模型判断何时、如何提供帮助；运行时根据新观察与反馈，持续更新意图、任务进度和相关记忆。

策略学习采用两阶段训练。首先进行自适应流式监督微调，根据训练分布平衡 silence 与 response 决策，同时学习回答内容，避免模型一直沉默或过度回应。随后进行局部轨迹强化学习，围绕帮助点构造短时间的因果 rollout，通过 GRPO 联合优化回应时机、内容质量与连续交互的一致性。

训练数据包括 70K 条任务相关 SFT 样本和 15K 个 RL 种子任务，合称 StreamVibe-85K；SFT 另混入 768K 条通用流式视频样本。强化学习既评估单次回应的时间与内容，也约束整段输出中的遗漏、重复和不一致。

运行时，StreamVibe-Harness 保存当前活跃意图、任务与环境进度，以及已经给出的回应。新信息到来后，各项要求可以独立新增、修订或结束；分层记忆则保留近期细节、压缩较早历史，并按当前任务检索相关证据。

这些信息交给模型后，由模型决定是否开口及具体内容；交互结果再写回状态与记忆，服务于后续决策。由此，记忆与当下交互共同支持对用户需求的持续理解。

实验验证：完整轨迹评测更贴近真实交互压力

团队将 StreamVibe 与闭源模型、开源离线模型和开源流式模型进行比较。主表在 ±2 秒的时间匹配容差下，同时报告回应时机与内容质量，并区分基于标准历史的逐点评测和使用自身历史输出的完整轨迹评测。

在完整轨迹评测中，StreamVibe-VL（RL）在三类意图上的 Content F1 分别为 10.83、19.13 和 8.91，均高于论文列出的开源基线；相较 MMDuet2，分数差分别为 4.95、2.62 和 1.44。

逐点评测下，模型在隐式意图上的 Content F1 达到 61.28，动态意图达到 39.31。两种协议反映不同条件下的能力：逐点判断可以使用标准历史，完整轨迹则需要承接自身输出，因此不能直接混用两类数值。

能力也迁移到外部主动交互基准：EgoProactive 的 Macro 分数从基座的 46.2 提升至 59.5，IPIBench 的 Understanding 分数从 9.8 提升至 20.4；通用视频理解能力同时得到保留。

持续交互仍是主要瓶颈：误触发与历史误差累积

完整结果表也提示，局部判断正确，并不意味着助手能够全程可靠地工作。论文进一步分析了不同意图与任务类型、误触发、自生成历史和交互时长对模型表现的影响。

首先，隐式与动态需求的内容质量仍有明显提升空间。助手既要识别用户没有直接说出的需求，也要跟踪修订、叠加与中断所带来的变化。其次，更高召回往往伴随更多误触发，说明覆盖帮助机会与避免打扰之间仍难以平衡。

自生成历史会进一步放大问题：先前的错误可能影响后续判断，造成内容质量下降。相比只考察独立时刻的评测，完整轨迹更能暴露这一差距，也更接近持续协助的实际要求。

策略学习与状态跟踪的分工与权衡

论文通过训练与状态管理的比较，进一步区分两类改进的作用。SFT 让模型更容易发现帮助机会，但也可能增加不必要的回应；RL 进一步改善回应选择，降低误触发并提高回答质量。

在策略固定时加入 Harness，论文分析显示不必要的回应进一步减少，动态意图的改善更明显。但不同指标仍存在权衡，状态管理并不意味着所有指标同步上升。

图中六模型均值还显示，视频越长，Timing F1 越低；Revision 的后半程召回下降更明显。这说明，用户持续修改要求时，助手需要反复更新哪些意图仍然有效，而不能只把历史原样保留下来。

对于 Personal Agent，这两条路径相互补充：策略学习改善对眼前证据的判断，状态与记忆管理则让后续决策始终围绕当前有效的需求展开。

结语：构建用户—环境—Agent 的持续交互闭环

Personal Agent 要真正实现个性化，不仅需要记住用户过去的信息，还需要在实际交互中不断理解用户当下的需求。未来的 Personal Agent 应形成“用户—环境—Agent”的持续交互闭环：通过用户的行为与反馈了解需求，通过环境变化判断任务进展，并在交互过程中不断调整对用户意图的理解和协助方式。

StreamVibe 为这一方向提供了初步探索。通过交互策略学习与持续状态管理，Agent 能够跟踪任务进展，并根据用户需求的变化调整协助策略。未来，如何将这一能力拓展到更长时间跨度、更复杂的真实场景，并充分利用用户在交互过程中提供的反馈，仍有许多值得研究的问题。