返回资讯中心
外部精选
软件工程
#开发者实时流

MIT团队提出SEAL框架,让大模型自主生成微调数据并更新权重

来源标题:Self-Adapting Language Models

MIT研究团队提出SEAL框架,使大模型能生成自我编辑指令和微调数据,通过监督微调实现持久权重更新。模型用强化学习训练,以下游任务表现作为奖励信号,直接控制自身适应过程而非依赖独立模块。实验覆盖知识注入和少样本泛化场景。

Hacker News 最新jonbaer2026/11/18 · 今天13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Adam Zweiger∗^∗, Jyothish Pari∗^∗, Han Guo, Ekin Akyürek, Yoon Kim, Pulkit Agrawal 代码:https://github.com/Continual-Intelligence 大语言模型(LLM)能力强大但静态不变;它们缺乏根据新任务、新知识或新示例调整自身权重的机制。我们提出自适应性 LLM(SEAL)🦭,这是一个让 LLM 通过生成自己的微调数据和更新指令来实现自我适应的框架。给定一个新输入,模型会生成一次自我编辑——一种可能以不同方式重组信息、指定优化超参数,或调用工具进行数据增强和基于梯度的更新的生成结果。通过监督微调(SFT),这些自我编辑会产生持久的权重更新,从而实现持久的适应。为了训练模型生成有效的自我编辑,我们使用强化学习循环,以更新后模型的下游性能作为奖励信号。与依赖独立适应模块或辅助网络的先前方法不同,SEAL 直接使用模型的生成来参数化并控制其自身的适应过程。在知识注入和小样本泛化上的实验表明,SEAL 是朝着能够针对新数据自主适应的大语言模型迈出的有希望的一步。 SEAL 是一个框架,使语言模型能够针对新任务或新信息生成自己的微调数据和优化指令——称为自我编辑。SEAL 通过强化学习(RL)学习生成这些自我编辑,以模型更新后的下游任务性能作为奖励。每次训练迭代包括:模型基于任务上下文生成一次自我编辑,通过监督微调应用该自我编辑,评估更新后的模型,并强化那些提升性能的编辑。该过程使用一种名为 ReSTEM^{\text{\textit{EM}}}EM 的轻量级强化学习算法实现,该算法通过拒绝采样进行多轮高奖励样本选择,并通过 SFT 进行强化。我们在两个领域展示了 SEAL:(1)知识注入,模型通过生成逻辑蕴含作为合成数据来整合新的事实信息;(2)小样本学习,模型自主选择数据增强和训练超参数,以适应新的抽象推理任务。 知识注入,任务是微调模型以内化给定段落中的新事实信息,使其能够在无法访问原始上下文的情况下回答相关问题。 在 ARC 上的小样本学习,模型必须从少量演示中泛化,通过生成自己的数据增强和训练配置来解决抽象推理任务。以下是两种设置的示意图。 知识注入:我们在从文本段落中吸收事实知识的任务上评估 SEAL。在单段落设置中,经过两轮 ReST-EM 后,SEAL 将问答准确率从 32.7%(无适应)提升至 47.0%,优于在原始段落或由 GPT-4.1 生成的合成数据上微调的模型。在包含 200 个段落的持续预训练设置中,SEAL 再次取得最高性能 43.8%,表明其学到的编辑策略可以扩展到其进行 RL 训练时所使用的单段落设置之外。这些结果突显了 SEAL 将非结构化文本转换为微调数据的能力,从而实现持久且高效的知识整合。 小样本学习:在 ARC 基准的简化子集上,SEAL 达到 72.5% 的成功率,显著优于上下文学习(0%)和使用未训练自我编辑的测试时训练(20%)。这证明了 SEAL 学会自主配置增强和训练策略的能力,从而能够从有限的演示中实现稳健的泛化。 虽然 SEAL 通过自生成的权重更新实现了持久适应,但我们的持续学习实验表明,反复的自我编辑可能导致灾难性遗忘——随着新更新的应用,先前任务上的性能会下降。这表明,如果没有明确的知识保留机制,自我修改可能会覆盖有价值的先前信息。解决这一问题仍然是一个开放挑战,可能的解决方案包括回放、约束更新或表征叠加。 展望未来,我们设想模型不仅能调整其权重,还能推理何时以及如何适应,在推理过程中决定是否有必要进行自我编辑。这样的系统可以将思维链轨迹迭代地蒸馏到权重中,将短暂的推理转化为永久的能力,并为通过交互和反思持续改进的智能体模型奠定基础。 title={Self-Adapting Language Models}, author={Adam Zweiger and Jyothish Pari and Han Guo and Ekin Akyürek and Yoon Kim and Pulkit Agrawal}, year={2025}, eprint={2506.10943}, archivePrefix={arXiv}, primaryClass={cs.LG}, url={https://arxiv.org/abs/2506.10943},

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →