MIT神作被锤:Astra爆改Qwen权重?就吹吧!
质疑者叫Matthew Honnibal,spaCy的作者、AI公司Explosion的联合创始人。
以下正文同步自 量子位,版权归原站所有,已转换为易读排版。
质疑者叫Matthew Honnibal,spaCy的作者、AI公司Explosion的联合创始人。
魔术师戏法
这背后到底发生了什么?
Honnibal用了一个很妙的比方,讽刺了MIT研究所做的事:障眼法。
舞台魔术师常常用多种方式来表演同一个戏法。
第一次,他可能用了一个特殊的道具;下一次,他会向你展示道具并无特殊,但他自己藏起了东西;第三次,可能又利用了某种强迫选择。
当你观看表演时,你会假设只有一种技术,所以每当魔术师表演一次,似乎都推翻了你对其工作原理的假设。
Honnibal认为,Astra这项研究的实验呈现,就酷似这样一场魔术。
回到Paper,原文其实展示了三项不同的能力:
读权重:只看原始的权重数字,就能识别一个小型神经网络正在执行什么任务。
写权重:不依赖环境反馈,从零开始直接生成或修改小型网络的参数,让它能玩《打砖块》之类的小游戏。
修复大模型:通过修改Qwen的部分权重,大幅提高其数学测试表现。
但这篇论文摘要给人的核心印象却是——
Astra「仅通过观察原始权重」,就能理解并修改另一个模型。
如果只是一眼扫过,很难不让人理解为:
无论是识别一个小型网络的功能,还是修复一个大语言模型的数学能力,都源于同一种「读脑」神技。
但,这是真的吗?
Honnibal仔细梳理了论文中的8组实验后发现:实现这三件事的实验条件,天差地别。
也就是说——
纯纯是在偷换概念。
两种技术路径
那么不同实验之间,到底有什么猫腻?
首先,在识别小型网络任务、修复一个卡住的赛车模型等实验中,Astra确实做到了「只看原始权重」。
因为实验条件非常苛刻:
直接将权重数字<span data-article-parentheses=
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。