
研究显示LLM能理解并编写神经网络权重
来源标题:LLMs can understand and write neural network weights
一项名为 Sparks of Weight Space Programming 的实验表明,LLM 能够理解并编写神经网络权重。实验日志已完整公开,每个实验文件夹附有 README,说明结果对应关系。实验中禁用了 Codex 的全部内置工具,每轮调用均经过审计以确认无工具使用。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
博客文章《Sparks of Weight Space Programming: LLMs can understand and write neural network weights》中所有实验的完整日志。每个实验你都能得到:
每个实验文件夹都有自己的 README,其中说明哪次运行对应文章中的哪个标签页或哪一行,以及每个数字来自哪个文件。
这里只收录了文章实际报告的那些运行。早期提示版本的试运行没有收录。
文章中的“Astra”是 OpenAI 的 gpt-6-astra。
一次调用。每个回合都是一次 code CLI 调用:codex exec,或用 codex exec resume <thread> 继续一段对话。提示通过 stdin 输入。推理强度按每次调用单独设置,并记录在每个回合的 run.json 中:
模型自身没有任何工具。Codex 所有会给模型提供工具的内置能力都被关闭:shell、文件编辑、网页搜索、图像查看、子代理、插件等等。配置在 harness/codex_config.toml 中,系统指令只有一行中性文本,位于 harness/instructions.md。每次调用都自行指定模型和推理强度,覆盖该文件中的默认值。
每个回合都经过了审计。我们检查了每个回合的事件流。当事件流中只包含模型的消息、其推理摘要,以及 Codex 关于代码模式已禁用的通知时,该回合即被视为无工具。结果记录在该回合 run.json 的 audit.tool_free 字段中。本次发布中的全部 1,125 个回合均为无工具。
在允许使用代码的地方(实验 3、6、7、8):
占位符。内部路径被替换为占位符:
Codex 线程 ID 被替换为 id- 加 8 位十六进制数字。同一线程在每个文件中保持相同的 ID,因此同一段对话的各个回合仍然能够对应上。
实验 7 的 Gemma 3 270M 微调模型(17 GB)。数据、训练脚本和哈希值都在,因此可以重新构建。
模型在工作过程中写入的中间文件:激活值、生成的文本转储,以及它的草稿网络。
最终网络和权重编辑均已包含,实验 8 的以针对公开基础权重的精确 diff 形式提供,并附有应用这些 diff 的脚本。
实验 3 的 Python 语料库文本。由于那是其他项目的代码,我们改为提供清单文件和重建脚本。
实验 8 生成内容中的 GPQA 题目文本。GPQA 的分数和逐题结果予以保留。
许可证
参见 LICENSE。
第三方基准数据保留各自的许可证:MATH、GSM8K、IFEval、MMLU-Pro 以及实验 8 中的其他基准。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。