返回资讯中心
外部精选
软件工程
#开发者实时流

MIT研究称OpenAI的Astra模型可直接读写神经网络权重

来源标题:Machines Building Machines

MIT研究人员发布实验文章,称OpenAI最新的Astra模型能理解并成功修改原始权重数据。实验显示该模型可准确预测未见过的权重集的用途并修复问题,但尚不清楚Astra是否在权重数据上训练过。

Hacker News 最新Brajeshwar2026/11/4 · 13 天前5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

昨天,一群MIT研究人员发表了一篇题为“Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights”的文章。文章描述了一系列实验,令人信服地展示了OpenAI最新的Astra模型能够理解并成功修改原始权重数据。哇塞!

这是个粗略的类比,但LLM的权重有点像它的大脑。一组权重是训练过程中生成的一大堆数字,LLM的输出是通过对输入进行一些矩阵乘法和少量随机化后、经由权重计算得出的。虽然生成权重的步骤已被充分理解,但权重本身极其不透明。目前有持续进行的工作试图解释权重如何运作,但研究人员对这些数字的作用理解还很有限。

基于这一点,当我得知LLM能够对原始权重数据执行操作时,感到相当惊讶——即使这仍然只是在有限的情况下。目前尚不清楚OpenAI的模型是否在权重数据上训练过。即使训练过,我仍然觉得这些结果令人惊讶。文章展示了该模型准确预测一组前所未见的权重是用来做什么的、通过更新另一个模型的权重来修复它,以及创建执行简单任务的新权重集。几天前我根本猜不到其中任何一项是可能的。

虽然这仍然只是概念验证,但我感到有点不安。“权重作为黑箱”这件事一直让我觉得有点可疑,即使在我使用简单得多的机器学习模型时也是如此。现在这些实验暗示了一个未来:LLM可以以人类无法验证的方式自我改进。机器制造机器,我们只能希望它们不会做任何奇怪的事情。我不知道这种策略是否可扩展,但我猜很快会有更多人探索它。

这些天来,我越来越希望我们生活在一个不那么有趣的时代。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →