
Cmpnd 发布 dspy-wsp,将权重空间编程引入 DSPy
来源标题:Cmpnd Releases dspy-wsp: Weight-Space Programming Comes to DSPy
Cmpnd 开源了原型优化器 dspy-wsp,让前沿 LLM 直接读取并编辑小模型权重,无需梯度、训练循环或微调数据集。测试中约 5 至 10 美元的 GPT-6-Astra 调用即可让 0.6B 到 9B 参数的开源决策模型全部提升,d1-omni-600M 从 50.9% 升至 69.1%。该工具以 MIT 许可证发布,需 DSPy 3.5。
以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Cmpnd 发布了 dspy-wsp,这是一个将权重空间编程引入 DSPy 的原型优化器。权重空间编程是一种技术:前沿 LLM 读取另一个模型的权重并直接编辑它们。不需要梯度、不需要训练循环、也不需要微调数据集。dspy-wsp 将其打包为 WeightSpace,一个可插入任何 DSPy 程序和指标的优化器。在 Cmpnd 的测试中,花费约 5 到 10 美元的 GPT-6-Astra 调用就改善了他们尝试的每一个决策模型。你可以通过我们的 GPULeaderboard.com Chrome 扩展查看部署选项和规格。
摘要
- 它是什么:一个 DSPy 优化器(WeightSpace),由 writer LLM 编辑学生模型的权重。MIT 许可证,pip install dspy-wsp,需要 DSPy 3.5。
- 规模:在 0.6B 到 9B 参数的开源决策模型上测试。一次 25 轮运行编辑单个层或头。
- 运行环境:所有实验在一台 Mac 上完成。2B 模型使用约 6 GB 内存。d1-omni-600M 需要 4 GB 或更多(Mac 或 GPU)。
- 性能:WeightSpace 单独在 Typed Decisions 上提升了 1.9 到 16.1 分。结合 ReAnchor 后,提升为 6.5 到 20.0 分。
- 最佳:d1-omni-600M 在 WeightSpace + ReAnchor 下从 50.9% 升至 69.1%(+18.3)。
- 最差:Clef-Flash(9B)仅从 WeightSpace 单独获得 +1.9。按原论文更严格的规则,d1-omni-600M 仅提升 +2.8。
- 结论:最佳之处:一种廉价、无梯度的编辑,以小型、可验证的补丁形式交付。最差之处:非常实验性、速度慢(每次运行 78 到 167 分钟),且在较大模型上效果最弱。
什么是权重空间编程?
权重空间编程(WSP)将神经网络的权重视为一个可以被读取和重写的程序。这一想法来自 MIT 的研究:Sparks of Weight-Space Programming。 一个前沿模型(研究团队使用了 GPT-6-Astra)查看权重张量,推理每一部分计算什么,并修改它们以匹配用自然语言写成的目标。研究团队强调,WSP 命名了一种新兴能力,而非固定方法。他们的实验中禁止了梯度,但这一概念并不排除梯度。
它与微调或提示优化有何不同?
比较开发者通常使用的 3 种手段会有所帮助:
- 提示优化(DSPy 的 MIPROv2、GEPA)编辑文本:指令和示例。模型权重从未改变。
- 微调(DSPy 的 BootstrapFinetune,用于 BetterTogether 内部)通过梯度下降改变权重。它需要训练数据、训练循环,通常还需要 GPU。
- 权重空间编程通过推理改变权重。编辑者形成假设(“这些神经元对选项 B 打分过高”),编写代码修补它们,并通过几次前向传播检查结果。 研究文章将 WSP 框定为使用 LLM 优化文本工件之后的下一步。早期工作让 LLM 在提示、harness 和训练代码上进行爬山。权重则留给 Adam 或训练过的权重生成网络。WSP 主张 LLM 推理现在可以直接触及权重。
原始研究展示了什么?
MIT 团队进行了 9 项实验。其中几项引人注目:
- 读取权重:Astra 仅从权重就为 4 个 PPO 策略网络正确命名了游戏(Breakout、Pong、Pac-Man、Freeway)。
- 修复损坏的策略:一个 Kinetix 坡道上的汽车策略在所有 256 个回合中失败。对其 3.5% 的权重做一次编辑,便使其在全部 1,024 个测试回合中成功。
- 从零编写:在 MinAtar Breakout 上,一个一次性写成的零初始化网络得分为 517.4。PPO 在 5 亿步后达到 25.3。
- 修复 LLM:Qwen3.5-0.8B 在数学问题上循环。Astra 将问题追踪到 MLP 第 15 和 19 层,并改变了 131,072 个权重(模型的 0.016%)。经过 50 次前向传播,MATH-500 从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%。 研究也显示了局限。在 Gemma 3 270M 上,编辑将 MATH-500 从 6.8% 移到 7.0% 到 7.7% 之间。研究团队未将其视为真正的提升。编辑可以移除障碍,但无法添加缺失的能力。
dspy-wsp 如何工作?
dspy-wsp 将该研究循环转变为标准的 DSPy 优化器。GitHub Repo 描述了 3 个角色:
- 学生:你的 DSPy 程序运行的小模型。其权重加载到本地 Python 进程中。
- 写作者:一个前沿 LLM,推荐使用最大推理努力下的 gpt-6-astra。
- 沙盒:写作者运行代码的内核。macOS 使用内置的 sandbox-exec;Linux 使用 bubblewrap。 写作者按轮次工作。每轮有一个简短解释,然后是一个代码块。该块要么是:
- 一个 Python 块,在沙盒内读取或编辑权重,要么是
- 一个前向块,在练习示例上运行你的 DSPy 程序。 前向传播来自固定预算(测试中 max_passes=25)。当预算用完时,写作者的最佳编辑成为补丁。然后一个隐藏验证集在相同示例和种子上比较原始权重和编辑后权重。
写作者看到什么数据?
仓库明确说明了数据分离:
- trainset 是写作者的练习集。
- holdout 将一部分(示例中为 0.25)训练数据移入检查集。写作者可以在其上评分编辑,但从不看到示例。
- valset 保持隐藏,最后运行一次。
- 指标可以返回 dspy.Prediction(score=..., feedback=...)。反馈文本对写作者可见。
写作者实际改变了什么?
结果文章列出了每一次编辑。编辑小而针对性强: 模型张量编辑范围时间写作者成本 d1-omni-600Mhead.scorer.1.weight(+ bias,scorer.3.weight)1,048,576 个条目中的 112,640 个,外加 22078 分钟$7.63 NanoJev(Qwen3-0.6B)scalar.weight1,024 个条目167 分钟$6.92 d1-2Blayers.23.feed_forward.w2.weight全部 15.7M 个条目,rank-9 变化83 分钟$5.42 d1-2B 没有决策头,因此写作者编辑了其第 23 层的骨干。在 d1-omni-600M 上,写作者重写了决策头 scorer 的一部分。
代码是什么样子?
仓库示例对支持工单进行分类。签名仅使用决策类型输出: 复制代码已复制使用其他浏览器
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。