
研究提出深度个性化方案,让本地算力驱动的主动式智能体学会把握介入时机
来源标题:Deep Personalization: Unlocking Personalized Proactive Agents with Local Compute
一项研究提出“深度个性化”闭环方法,让个人智能体通过持续观察用户活动、选择性保留上下文并从隐式反馈中学习,从而判断何时主动介入。该方法旨在解决主动式智能体介入时机难以把握的问题:同一干预对不同用户或不同任务可能多余甚至干扰。方案依赖本地算力运行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
个人智能体正在从“需要你打开的工具”变成“与你并肩的同事”。但随着这些智能体变得越来越个性化、越来越主动,一个更棘手的问题随之出现:关键不只是它们能做什么,而是你究竟希望它们在什么时候去做。
及时的主动支持,其意义不止于便利。很多人尚未意识到 AI 能在哪些地方帮到自己。一个能观察上下文、在恰当时机主动提供帮助的智能体,可以把 AI 辅助带给那些根本不会想到去求助的人——尽管智能如今已触手可及。但把握时机并不容易。对一位用户有帮助的介入,对另一位用户可能多余甚至打扰;即便是同一位用户,在不同任务和情境下,对帮助程度的需求也可能不同。
静态的用户画像和设置菜单无法捕捉这样的偏好,因为这些偏好取决于具体情境。为此,我们提出深度个性化(deep personalization):一个闭环过程,智能体持续观察用户活动、有选择地保留用户上下文、做出个性化的介入决策,并从用户的隐式反馈中自我调整。由此,智能体从日常交互中逐步建立起对用户的理解——用户在做什么、如何工作、看重哪些帮助、什么时候希望不被打扰。它还会根据每次介入的实际效果不断修正这种理解。
我们把这套机制构建进 Coco,一个开源的主动式智能体系统(图 1)。借助深度个性化,Coco 的核心现在承担三项职能:
Observer 只负责判断何时提供帮助,而执行帮助的智能体是独立的。正因如此,深度个性化可以与现有的智能体框架(如 Claude Code、Codex、Pi 或其他垂直智能体)互补。
个性化 AI 存在一种内在张力。智能体看到并保留的上下文越多,个性化就越好,但暴露的敏感信息也越多。于是我们提出一个问题:能否通过在用户设备上实现深度个性化,兼得两者之长?
在设备端运行 Observer 与在数据中心做 LLM 推理是不同的负载。它必须实时处理高频的屏幕截图,同时还要执行个性化更新。我们用两项技术来解决这个问题:
当某张截图与上一张保留帧的 RGB 均方误差(MSE)超过阈值时,才保留该截图。被跳过帧中的操作会向后传递,以保留上下文。
被跳过帧中的操作会传递到下一张保留帧。
除这两项技术外,我们还共同设计了 CTI——一个单 GPU 引擎,可在同一模型实例上同时支持推理与微调,并便于针对特定负载进行优化;同时通过块扩散预测(Chen et al., 2026)实现投机解码,进一步加速推理。当我们在 DGX Spark 上部署 Qwen3.5-35B-A3B-FP8 时,观测到平均首 token 时间为 2.831s,平均延迟为 7.518s,达到了 Coco 交互周期的要求。
主动式辅助很难用纯文本数据集来研究:智能体的决策取决于屏幕上正在发生什么,以及用户偏好如何工作。为了让评测更具代表性,我们开发了一条流水线,把计算机操作录制转化为个性化支持样本。
该流水线提取关键帧,将其与模拟的用户画像配对,并使用视觉语言模型标注该时刻的帮助是否会受到欢迎。我们按时间顺序为每个画像切分会话,因此评测衡量的是系统能否随时间推移适应用户偏好。
我们将该流水线应用于 OSWorld 2.0(Yuan et al., 2026),构建了 OSWorld-Persona 数据集,涵盖 108 个会话、6,558 个关键帧和 3,259 条主动支持标注。四种用户画像捕捉了不同偏好,从欢迎频繁帮助,到只在卡住时才希望获得协助。我们通过自一致性检查和人工审核来提升标注质量。
我们评测 Observer Agent 能否识别需要帮助的时刻,同时限制不必要的打扰。下表展示了未适配模型与采用深度个性化的 Coco 在宏平均 F1 上的表现,后者分别使用了演化式提示优化(Coco-PE)和 LoRA 微调(Coco-LoRA)。
我们进一步将 Coco 部署为桌面助手,Observer 运行 Qwen3.5-9B,部署在单张 RTX 5090 上,并让十位参与者在为期一周的日常电脑工作中使用它。
我们把点赞视为有帮助的建议,把点踩或关闭视为不受欢迎的建议。当 Coco 保持沉默、但参与者直接向它求助时,我们将其计为一次“错失机会”的代理指标。这一指标可能低估未被满足的需求,因为参与者可能希望获得帮助,却并未明确开口。
在整个研究中,宏平均 F1 代理指标从 0.199 上升到 0.515。结果还显示出冷启动现象:在第 1 天,有六位参与者的 F1 代理指标为零,因为 Coco 尚未做出任何被其评为有帮助的主动建议。经过适配后,他们每个人都收到了自己评价为有帮助的建议。
我们在一位作者的部署中考察了 Coco 学到的偏好如何随时间变化。早期,它学到的是宽泛的线索,例如界面上可见的“TODO”可能意味着帮助机会,而技术性输出往往意味着应当保持沉默。随着反馈增多,这种区分变得更加精确。到第 5 天,Coco 学会了与工作流相关的边界,例如在用户填写 TODO 时提供帮助,但在用户审阅整份文档时保持安静。
到那一周结束时,它学会了更具体的边界,并学会推断用户意图:用户欢迎帮助填补生成式内容中的空缺,但更愿意自己整合经过核实的内容。这种偏好并不是简单的“在文档方面提供帮助”,而是取决于正在进行的是哪一类工作。
在与非技术用户交流时,我们意识到深度个性化可能不只是改善主动支持的时机,它还能帮助人们发现 AI 在自己工作中的用武之地。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。