
调查称「Astra可读写权重改进Qwen」帖文存在误导
来源标题:The 'Astra can read and write weights to improve Qwen' post is misleading
一篇质疑文章指出,所谓「Astra 能读写权重来改进 Qwen」的帖子实验手法类似魔术师的多重障眼法,其结论具有误导性。该帖声称 Astra 无需梯度、仅原生编辑 0.016% 权重,就将 Qwen3.5-0.8B 的 MATH-500 成绩从 7.9% 提升到 48.1%,并让 IFEval 提升 3 倍。质疑方认为这些实验通过多种不同手法轮换,使观察者难以判断真实机制。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
舞台魔术师常常用不同的方式演同一个戏法。第一次用了个机关道具,第二次向你证明那道具不是机关,但这次又用了藏东西的手法,第三次则是强制选择,等等。你看表演时会以为只有一种手法,所以每次他们表演时,似乎都在推翻你关于“这到底是怎么做到的”的假设。
“Astra can read and write weights to improve Qwen”那篇文章里的实验,基本上就是这个套路。文章的摘要说:
仅通过查看原始权重,GPT-6 Astra 就能判断出一个网络被训练来做什么。而且在没有任何环境反馈的情况下,它也能毫不费力地从零写出小型游戏网络,其表现超过用 PPO 训练了 1 亿步的网络。
同样地,当被要求在没有梯度的情况下提升 Qwen3.5-0.8B 的数学能力时,Astra 识别出其权重中导致推理循环的问题——Qwen 自己的模型卡也警告过这一点——并通过原生编辑 0.016% 的权重修复了它。在相同的采样设置下,这一权重修正将 MATH-500 从 7.9% 提升到 48.1%,并且开箱即用地泛化到指令遵循,将 IFEval 提升了 3 倍。
如果你读了这段话,会不会以为 Qwen 实验是“仅通过查看原始权重”完成的?其实并不是。事实上,连“小型游戏网络”实验也不是“仅通过查看原始权重”完成的。确实有一些实验是查看原始权重的,也有一些实验是改进游戏网络的,还有一个实验是提升 Qwen 数学能力的。但后两个实验并不只是查看原始权重。
下面是这篇文章实际做了什么、以及这些技术如何运作的总结。
¹ 只给定一个记录下来的失败回合。 ² 在一次尝试中,改动了 3.5% 的权重。 ³ 权重从零开始,所以没有什么可读的。 ⁴ 仅在 Breakout 上击败 PPO-500M(517 对 25);在 Seaquest(53 对 89)和 Asterix(53 对 55)上输给它。 ⁵ 最多运行 16 段文本,并且只看到注意力模式,看不到输出。
“仅通过查看原始权重”这一设定(上下文中直接给出原始浮点数,不使用工具,不运行网络)只出现在实验 1、2 和 4 中,针对的是 17K–172K 权重的网络。每一个涉及真实语言模型的实验都使用了 Python,而作为头条结果的 Qwen 实验,还可以在最多 50 批练习题上运行模型。
Qwen 结果实际表明的是,可以通过提示让 Astra 设计并执行人类 ML 工程师能做的任务。人类 ML 工程师一直在写代码片段来“直接”分析甚至修改网络权重。弄清楚如何有效地做到这一点并非易事,而一两年前的 AI 模型在这些任务上都会失败。
但在我看来,Qwen 结果和其他使用 Python 的实验,与那些直接读取权重的实验,不应该出现在同一篇文章或论文里。一种单一技术如果能同时做到“从零为一个小游戏编写权重”和“在样本任务上提升一个大模型的性能”,那将意味着一种很深的能力。如果你用这种方式测试一种单一技术,你就同时展示了权重的某种“整体形态”(它能从零写出权重),以及它理解一个大型现有网络。但这里完全不是这样,因为这不是一种单一技术。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。