返回资讯中心
外部精选
软件工程
#开发者实时流

MIT CSAIL 研究显示前沿大模型可直接读写神经网络权重

来源标题:Experiments in Weight-Space Programming

MIT CSAIL 发布研究称前沿 LLM 能直接读写神经网络权重,GPT-6 Astra 在多项实验中无需梯度下降或训练循环即可完成操作,研究者将此命名为 Weight-Space Programming。这些结果短暂引发广泛关注,因为神经网络通常被视为难以理解的“黑箱”。

Hacker News 最新gmays2026/11/19 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

两周前,MIT CSAIL 发表了 Sparks of Weight-Space Programming。在这篇文章中,研究人员证明,前沿 LLM 出人意料地擅长直接读取和写入神经网络权重。通过一系列实验,他们展示了 GPT-6 Astra 能够做到以下几点:

全程无需梯度下降,也无需训练循环!他们由此创造了“权重空间编程”(Weight-Space Programming,WSP)这一术语。

这些结果一度在互联网上引起轰动,因为神经网络是一个黑箱。它们在巨大的向量空间中处理数据——数十亿个浮点数在人工神经元的各层之间相互连接——这使得它们完全无法被理解,甚至对创建它们的开发者来说也是如此。我们对 AI 系统如何做出决策几乎一无所知。然而,如果一个 LLM 能够在这堆张量乱麻中进行推理,我们或许就能揭开这个黑箱的面纱。

我必须亲自试一试 WSP。我的目标是针对几个经典的机器学习问题开展一系列实验,看看前沿 LLM 仅通过编辑模型权重,能在多大程度上构建或改进一个模型。

我做的第一件事是搭建一个测试框架,让 LLM 能够直接读写神经网络权重。代码在 GitHub 上。它的工作原理如下:

我还给 agent 提供了一个 forward 工具,它会在一些样本上运行网络,打印输出,并把该层的激活值存储在容器中,这样 agent 就能观察权重如何响应输入。实际上,agent 很少使用它,更倾向于用 NumPy 自己写一个版本。

我提示模型通过用 NumPy 编写网络权重来最大化评估分数。我还给了它一些必须遵守的规则,例如:不得使用梯度下降、不得构建自己的数据集、不得利用数据集作弊等。我还让另一个 LLM 检查每次运行的日志,寻找违反规则的证据,结果没有任何一次运行违反我设定的规则。

  • 公平地说,agent 本可以用 NumPy 和 for 循环写出梯度下降。测试框架的早期版本完全禁止循环,但事实证明那限制太严了,而且 agent 很善于遵守规则。

所有模型都用 TensorFlow 构建。所有实验使用的 LLM 都是 Claude Opus 5.5,effort 设为“High”——不过在莎士比亚实验中,我也试了 Claude Fable 5.2。该测试框架适用于任何 LLM,但我通过 Anthropic 的创业公司项目获得了免费的 API 额度,所以选择了 Claude。

我尝试的第一个实验是看 agent 能否为一个在 MNIST 数据集上训练过的模型生成权重。MNIST 是一个由 28×28 像素的手写数字图像组成的数据集。它有时被视为机器学习界的“Hello world”,所以我觉得这是个不错的起点。

我构建了一个简单的顺序模型,包含两个全连接层:一个具有 128 个单元的隐藏层,以及一个具有 10 个单元的输出层。可训练参数的数量为 101,770,在运行 agent 之前,所有全连接层权重都被设为 0。

agent 运行了 8 分钟,采用模板匹配策略完成了任务。它用线条、弧线和椭圆画出每个数字。然后它通过倾斜、拉伸,以及对某些数字改变形状,为每个数字制作了 12 个版本——带钩和不带钩的 1,带横杠和不带横杠的 7,等等。

思路是根据我自己的知识画出基于笔画的数据模板……

agent 取得了 64.1% 的测试分数。作为参照,用梯度下降训练的模型能在 20 秒内达到 >85% 的测试分数。2025 年的一篇论文从 30 个参考数字计算出网络的权重,无需训练,报告的结果是 63%。这几乎与 agent 达到的分数完全一致。

这是一个不错的结果,不过老实说,鉴于 MIT 那篇论文的大肆宣传,我原本期望更高。MNIST 如此有名,被如此广泛地讨论,我原以为 agent 至少能追平梯度下降。话虽如此,看着它在代码中画出数字、对照真实样本进行检查,并重画那些不匹配的数字,还是很有趣的。agent 还意识到自己正在接近极限:

纯模板匹配的上限大概在 70% 左右,所以我在权衡每个数字做更多变体、利用更多 128 个单元,能否突破这个上限。

对于第二个实验,我想尝试不同的架构和 AI 应用。我想到了 MIT 研究人员给 GPT-6 Astra 的强化学习任务,于是决定挑战 CartPole。CartPole 是另一个经典基准,agent 必须通过沿着无摩擦轨道向左或向右推动小车,使小车上的杆保持竖直平衡,杆每保持在一个设定角度内一个时间步,就能获得奖励。

我写了一个小型策略模型,包含一个具有 16 个单元的隐藏层,长话短说,agent 彻底碾压了这个任务。它仅仅用了几个权重,就在几轮之内取得了满分。agent 思考了大约 490 个 token,选择了一条线性规则,并决定对四个输入进行加权求和。

我把一个具有 LQR 控制 bang-bang 结构的线性状态反馈控制器写进了网络。

这是教科书式的答案。事实上,你并不需要深度学习来解决这个任务,用非常基本的规则就能完成。agent 知道解法,不必推导出任何东西,但看它如何通过网络架构进行推理,并将线性规则实现为权重,仍然很有趣。

接下来,我想尝试更难的东西。我觉得自然语言实验可能会很有趣,于是决定挑战 IMDB 情感分析基准。这是一个分类任务,模型必须阅读一篇电影评论,并预测作者对这部电影的感受是正面还是负面。

我写了一个词袋模型。每篇评论被转换为 10,000 个输入,词汇表中的每个词对应一个输入。这些输入送入一个 sigmoid 输出,因此模型每个词有一个权重,外加一个偏置。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →