返回资讯中心
外部精选
软件工程
#开发者实时流

分析指出 Astra 读写权重改进 Qwen 的帖子存在误导

来源标题:The 'Astra can read and write weights to improve Qwen' post is misleading

一篇分析文章指出,关于 Astra 能读写权重以改进 Qwen 的帖子具有误导性,其手法类似魔术师用多种方式表演同一戏法,让人误以为每次都在推翻猜想。该帖子声称 Astra 仅凭原始权重就能判断网络训练目标,并通过原生编辑 0.016% 的权重将 Qwen3.5-0.8B 的 MATH-500 从 7.9% 提升到 48.1%。分析文章以魔术表演作类比,质疑这些实验结果的解读方式。

Hacker News 最新syllogism2026/11/3 · 14 天前8 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

舞台魔术师常常用不同的方式表演同一个戏法。一轮用机关道具,下一轮向你展示道具并非机关,而是用另一只手藏了东西,第三次则是强制选择,等等。你看表演时假设只有一种手法,所以每次他们表演时似乎都推翻了你关于其原理的假设。

“Astra 能读写权重来改进 Qwen”那篇文章里的实验,差不多就是这么回事。文章摘要说:

仅通过观察原始权重,GPT-6 Astra 就能判断出一个网络被训练来做什么。而且在没有任何环境反馈的情况下,它也能毫不费力地从零写出小型游戏网络,击败用 PPO 训练了 1 亿步的网络。同样,在被要求在没有梯度的情况下让 Qwen3.5-0.8B 更擅长数学时,Astra 找出了其权重中导致推理循环的问题——Qwen 自己的模型卡也警告过这一点——并通过原生编辑 0.016% 的权重修复了它。在相同的采样设置下,这一权重修正将 MATH-500 从 7.9% 提升到 48.1%,并开箱即用地泛化到指令遵循,将 IFEval 提升了 3 倍。

如果你读了这段话,你会假设 Qwen 实验是“仅通过观察原始权重”完成的吗?其实并非如此。事实上,连“小型游戏网络”实验也不是“仅通过观察原始权重”完成的。有些实验确实只看原始权重,有些实验改进了游戏网络,还有一个实验改进了 Qwen 的数学能力。但后两个实验并不只是看原始权重。

以下是该文章实际做了什么以及这些技术如何运作的总结。

¹ 只给定一个记录下来的失败回合。 ² 在一次尝试中,改动了 3.5% 的权重。 ³ 权重从零开始,所以没有什么可读的;它不用任何工具,手工写出权重。 ⁴ 仅在 Breakout 上击败 PPO-500M(517 对 25);在 Seaquest(53 对 89)和 Asterix(53 对 55)上输给它。 ⁵ 最多运行 16 段文本,且只看到注意力模式,看不到输出。

“仅通过观察原始权重”这一设定(上下文中只有原始浮点数,没有工具,不运行网络)只出现在实验 1、2 和 4 中,针对的是 1.7 万到 17.2 万权重的网络。每一个涉及真实语言模型的实验都用了 Python,而作为头条结果的 Qwen 实验,还允许模型在最多 50 批练习题上运行。

Qwen 结果实际表明的是,可以通过提示让 Astra 设计并执行人类 ML 工程师能做的任务。人类 ML 工程师一直都在写代码片段来“直接”分析甚至修改网络权重。弄清楚如何有效地做到这一点并非毫无价值,而一两年前的 AI 模型在这些任务上都会失败。

但在我看来,Qwen 结果和其他使用 Python 的实验,与直接读取权重的实验不该出现在同一篇文章或论文里。如果有一种单一技术能同时做到“从零为一个简单游戏编写权重”和“提升大模型在样本任务上的表现”,那将意味着一种深层能力。如果你以这种方式测试单一技术,你就展示了权重的某种“整体把握”(它能从零写出权重),同时也展示了它理解一个大型现有网络。但这里完全不是这样,因为它并不是单一技术。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →