返回资讯中心
外部精选
软件工程
#开发者实时流

W-ISA 发布:无需梯度即可编辑本地 LLM 权重

来源标题:Show HN: W-ISA – An instruction set for programming LLM weights

W-ISA 提供了一套可逆、无需梯度的权重编辑方案,支持在 CPU、Apple Silicon 和 CUDA 上以 JSON 指令格式修改本地语言模型权重。它包含编译器与 Python 运行时,支持按请求打补丁和快照恢复,默认适配 Qwen2.5-0.5B-Instruct,也可加载其他 Transformers 因果语言模型。相关论文已发布在 arXiv。

Hacker News 最新eaxitect2026/11/11 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

面向在 CPU、Apple Silicon 和 CUDA 上运行的本地语言模型,进行可逆、无梯度的权重编辑。v0.1.0。W-ISA 提供一套 JSON 指令格式、一个编译器和一个 Python 运行时,用于命名权重操作、请求作用域的补丁和快照恢复。仓库中包含可执行的实验及其记录下来的测量结果。编译一个小型 JSON 程序,将其绑定到 PyTorch 参数名,再用确定性的线性代数改动实时权重。运行时会冻结模型,并在 torch.no_grad() 下执行编辑。

默认加载器面向 Qwen/Qwen2.5-0.5B-Instruct。它也接受本地检查点路径或其他 Transformers 因果语言模型,包括 HuggingFaceTB/SmolLM-135M-Instruct。参数名和维度来自所加载的模型。

两篇论文的作者均为 Ekrem Aksoy,可在 arXiv 上获取:W-ISA 提供干预运行时;NCP 增加了候选合成、验证和规则准入。请为你工作中使用的组件引用相应论文。CITATION.cff 提供机器可读的元数据;GitHub 的 Cite this repository 条目以 W-ISA 论文作为首选引用。

title = {{W-ISA}: Transactional Execution of Weight-Space Intervention Programs}, author = {Ekrem Aksoy}, year = {2026}, eprint = {2611.13232}, archivePrefix = {arXiv}, primaryClass = {cs.AI}, doi = {10.48550/arXiv.2611.13232}, url = {https://arxiv.org/abs/2611.13232}

title = {{NCP}: Verifier-Guided Optimization of Weight-Space Control Policies}, author = {Ekrem Aksoy}, year = {2026}, eprint = {2611.13236}, archivePrefix = {arXiv}, primaryClass = {cs.AI}, doi = {10.48550/arXiv.2611.13236}, url = {https://arxiv.org/abs/2611.13236}

本软件使用 MIT 许可证。两篇论文使用 CC BY-NC-ND 4.0;论文许可证不改变软件许可证。

我们感谢 Rikiya Takehi、Jayden Teoh、Alex Zhang 和 Omar Khattab 在《Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights》(2026 年 11 月 2 日)中提出的权重空间编程视角。他们的文章探讨了 LLM 原生的权重检查与编辑。W-ISA 围绕权重干预开发了一个结构化指令运行时,具备验证、请求作用域和恢复功能。

相关基础工作包括 Elhage 等人的《A Mathematical Framework for Transformer Circuits》,涉及头和残差流结构;以及 Arditi 等人的《Refusal in Language Models Is Mediated by a Single Direction》,涉及方向性行为干预。两者均在上文文章中引用。

该文章还链接了《Tracr: Compiled Transformers as a Laboratory for Interpretability》,它将程序编译为 transformer 模型。W-ISA 则为现有模型的参数编译干预指令。

从代码检出开始,创建虚拟环境并安装包:

python3 -m venv .venv .venv/bin/python -m pip install -e . .venv/bin/wisa demo

安装过程会下载依赖。自包含的 demo 将固定矩阵的输出从 [5, 11] 改为约 [3, -1],然后精确恢复为 [5, 11]。

声明支持 Python 3.10+;已测试的解释器为 Python 3.12.9。直接运行时依赖为 torch、transformers 和 numpy,以及它们正常的传递依赖包。

使用以下命令检查缓存的模型:

.venv/bin/wisa inspect --local-files-only --contains mlp.down_proj

对于本地检查点,使用 --model /path/to/checkpoint。省略 --local-files-only 允许 Transformers 从 Hugging Face 下载公开模型文件;生成过程在本地运行。

对缓存的 Qwen 权重进行 before/edit/after/undo 对比:

.venv/bin/wisa run --local-files-only --program examples/prune.json --prompt "What is a matrix?" --max-new-tokens 32 --undo

运行 .venv/bin/python examples/roundtrip.py 进行预训练 SmolLM 实验。首次运行会在需要时下载模型;后续运行可使用 --local-files-only。所有运行模型的命令都接受 --device。

剪枝示例将 Qwen 第一个 MLP 下投影中的小值置零。在将示例用于不同架构之前,请先检查参数名。

CLI 编辑操作针对当前进程的内存中权重。对于需要保持模型常驻的应用程序,请直接使用 WeightRuntime。

--device auto 根据 PyTorch 可用性依次选择 CUDA、MPS,最后是 CPU。使用 --device cuda 选择当前 CUDA 设备,或使用 --device cuda:1 选择指定索引的设备。--device mps 和 --device cpu 显式选择相应后端。加载器在加载模型文件之前检查可用性和 CUDA 索引。

权重默认为 FP32;--dtype float16 和 --dtype bfloat16 选择其他支持的模型数据类型。

对于 NVIDIA GPU,请使用 PyTorch 安装选择器安装适用于你平台的启用 CUDA 的 PyTorch 构建,然后安装 W-ISA。运行 .venv/bin/wisa inspect --device cuda --contains mlp.down_proj 检查模型,或运行 .venv/bin/python examples/roundtrip.py --device cuda --output artifacts/cuda-roundtrip.json 进行头消融和投影实验。其报告记录所选设备、算术数据类型、权重变化、撤销和重放结果。

Source 包含 "version": 1 和一个 "instructions" 数组。每条指令具有 op 和 target;target 是来自 model.named_parameters() 的完整名称。操作数字段引用由 --operands 提供的 NPZ 文件中的命名数组,或传递给 compile_program() 的数值数组/张量映射。

对于矩阵 $W\in\mathbb{R}^{m\times n}$:

ADD、SCALE 和 PRUNE 也适用于向量和其他稠密浮点参数形状。秩一和投影指令需要矩阵,因为它们的操作数描述矩阵输入/输出空间。阈值为非负值。编译器在写入权重之前检查参数名、操作数形状、有限值、指令字段和非零投影方向。NPZ 加载使用 allow_pickle=False。

每条指令还接受一个可选的切片数组,每个参数维度一个条目。null 选择该整个轴;[start, stop] 选择一个非空、

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →