
Unified Scar Operator 发布 v1.3.0,用 SCache 和 MoS 实现 O(1) KV 缓存与 72B 模型 INT4 推理
来源标题:SCache and MOS – 32.9k O(1) KV cache (22.7 MiB) and 72B INT4/ASVD engine
Unified Scar Operator v1.3.0 提出 SCache 和 Mixture of Scars (MoS) 两种无需训练的方法,同时压缩模型的静态参数和 KV 缓存。在 M2 芯片上实测中,SCache 将 16.6k/32.9k 长上下文任务的 KV 缓存降至 O(1);MoS 让 72.71B 的 Qwen2.5-72B-Instruct 以 INT4/ASVD 方式运行,4 层计算提速 50.38 倍,在 Apple Silicon 上实现 32.9k O(1) KV 缓存(22.7 MiB)。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Unified Scar Operator(v1.3.0):自回归 Transformer 撞上了两堵相互叠加的硬件高墙:静态参数膨胀 $\mathcal{O}(N)$(72.71B 模型在 FP16 下为 135.43 GiB),以及 KV cache 的线性/二次增长 $\mathcal{O}(T) / \mathcal{O}(T^2)$。Mixture of Scars(MoS)与 SCache 在同一个方向性残差公式下,无需训练即可同时攻破这两堵墙:
- 16.6k 与 32.9k Passkey / Needle-in-a-Haystack:SCache O(1) 对比普通 KV Cache
在 Apple Silicon M2(16 GB、MPS、FP16)上实测,语料为 100% 不重复的 Python 标准库文档(needle 深度覆盖 5%、25%、50%、75%、95%,零微调,通过递归 untyped_storage().data_ptr() 字节审计验证,results/passkey_16k_32k_llm_audit.json 中差异为 0.00 B):
在你自己的 GPU 或 Mac 上复现 16.6k 与 32.9k Passkey / NIAH 审计(写出 JSON 并验证 ΔBytes = 0 B):
python scripts/benchmark_16k_passkey_llm.py --models Qwen/Qwen2.5-0.5B-Instruct Qwen/Qwen2.5-3B-Instruct --lengths 16500 32800
- 72.71B(Qwen2.5-72B-Instruct Canonical MoS v2,80 层):tokens/sec 对比峰值内存
使用融合的 Apple Metal _weight_int4pack_mm + Rank-48 ASVD scars 实测(cos = 1.000000 对齐,4 层计算快 50.38×:1,495.3 ms → 29.7 ms,见 results/scale_72b_audit/apple_m2_72b_speed_memory_audit.json),并使用融合的 NVIDIA CUDA Triton Block-64 W4A16 + ASVD kernel(scar_cache/triton_mos_gemm.py):
1. 运行 Apple Silicon 72B Fused-Metal 速度 + 峰值内存审计(在 >=48 GB 的 Mac 上自动以 80 层 --resident 模式运行):
python scripts/benchmark_72b_apple_silicon.py
2. 下载经 SHA-256 公开验证的 Qwen2.5-72B-Instruct MoS v2 分片,并启动交互式终端对话:
mos-run --download --chat --model-dir ./models/qwen25_72b_mos_v2
📄 官方预印本(v1.3.0)、公开 72.71B 分片与复现资源
永久预印本(CERN / Zenodo v1.3.0 DOI):10.5281/zenodo.24172784 · 概念 DOI(所有版本):10.5281/zenodo.24144512(预印本 v1.3 PDF | v1.2 PDF | v1.1 PDF | v1.0 PDF)
学术 LaTeX 源码(可直接提交 arXiv / TMLR / 双盲评审):paper_latex/、arXiv_Direct_Upload_v1.3.zip 与 MoS_SCache_LaTeX_arXiv_TMLR_v1.3.zip
公开 Qwen2.5-72B-Instruct MoS v2 检查点(38.12 GiB,22 个 SHA-256 分片,无需登录)与实用指南:
直接下载(HTTP 206 Range + SHA-256):github.com/byte-od/mixture-of-scars/releases/tag/v1.2.0-qwen72b-mos
本地部署分步指南:docs/GUIA_PRATICO_MOS_SCACHE_72B.md
官方 v1.4 → v2.x 创新与跨领域应用路线图:docs/ROADMAP_V2_INNOVATION_AND_APPLICATIONS.md
交互式 Gradio 红队实验室(Hugging Face Space):huggingface_space/
📐 数学表述:Unified Scar Operator
MoS(作用于参数空间)与 SCache(作用于上下文时间轴)都实例化了同一个方向性残差算子:
$$F(\mathbf{x}) = F_{\text{base}}(\mathbf{x}) + \sum_{k} \operatorname{ReLU}!\left(\frac{\mathbf{x}^\top \mathbf{z}_k}{|\mathbf{x}|_2 |\mathbf{z}_k|2 + \epsilon}\right) \cdot \Delta{\text{scar}, k}(\mathbf{x})$$
与 Softmax 路由不同($\sigma_k(\mathbf{x}) > 0$ 在整个 $\mathbb{R}^d$ 上成立,会泄漏弥散的串扰),这种单侧 ReLU 余弦门在 $\mathbf{z}_k$ 周围定义出一个精确的 $90^\circ$ 球冠。任何位于正交/对跖半空间($\mathbf{x}^\top \mathbf{z}_k \le 0$)的输入,其激活或写入都严格为零(0.000000)。
给定预训练矩阵 $\mathbf{W} \in \mathbb{R}^{N \times K}$、通道 RMS 激活尺度 $s_j = \sqrt{\mathbb{E}[x_j^2]} + \epsilon$,以及对称 Block-64 4-bit 基础权重 $\widehat{\mathbf{W}}_4 = \operatorname{dequant}(\mathbf{W}_q, \boldsymbol{\alpha}_w)$,MoS 对激活加权的量化残差 $(\mathbf{W} - \widehat{\mathbf{W}}_4)\operatorname{diag}(\mathbf{s}) \approx \mathbf{U}_r \boldsymbol{\Sigma}_r \mathbf{V}r^\top$($r \ll \min(N, K)$)进行分解,令 $\mathbf{B}{\text{scar}} = \mathbf{U}_r \boldsymbol{\Sigma}r^{1/2}$、$\mathbf{A}{\text{scar}} = \boldsymbol{\Sigma}_r^{1/2} \mathbf{V}_r^\top \operatorname{diag}(\mathbf{s})^{-1}$:
$$\mathbf{y}(\mathbf{x}) = \widehat{\mathbf{W}}4 \mathbf{x} + \mathbf{B}{\text{scar}}(\mathbf{A}_{\text{scar}}\mathbf{x})$$
为消除每个 72B SwiGLU 矩阵约 960 MB 的临时 FP16 反量化缓冲区,同时通过动态按行缩放 $c_m = \max(|\mathbf{x}m|\infty / 512, 10^{-4})$ 防止在 195,720× SwiGLU 中间激活尖峰下出现超过 65,504 的 FP16 溢出,v1.3.0 在 Apple Silicon Metal(_weight_int4pack_mm)与 NVIDIA CUDA Triton(scar_cache/triton_mos_gemm.py)上,都将 nibble 解包与低秩 scar 收尾计算直接融合进 GPU 寄存器中。
对于每一层 $\ell$ 和每个 KV head $h$,SCache 维护 $N_{\text{sink}}$ 个 attention sink、一个大小为 $W_{\text{win}} - N_{\text{sink}}$ 个 token 的滚动 FIFO 窗口,以及 $S_{\text{slots}}$ 个固定锚槽,锚槽由逐 head 的 Widrow-Hoff 快速权重 $\mathbf{W}_{\text{scar}}^{(h)} \in \mathbb{R}^{d_h \times d_h}$ 支撑:
$$\mathbf{e}t = \mathbf{v}{\text{ev}} - \mathbf{W}{\text{scar}}^{(t-1)} \hat{\mathbf{k}}t, \qquad \mathbf{W}{\text{scar}}^{(t)} = \gamma \mathbf{W}{\text{scar}}^{(t-1)} + \eta, g_{m^\star}(\hat{\mathbf{k}}_t), \mathbf{e}_t \hat{\mathbf{k}}_t^\top$$
当 $\gamma=1, \eta g_{m^\star}=1, |\hat{\mathbf{k}}t|2=1$ 时,该式简化为 $\mathbf{W}{\text{scar}}^{(t)} = \mathbf{W}{\text{scar}}^{(t-1)}(\mathbf{I} - \hat{\mathbf{k}}_t \hat{\mathbf{k}}t^\top) + \mathbf{v}{\text{ev}} \hat{\mathbf{k}}_t^\top$:正交投影算子 $(\mathbf{I} - \hat{\mathbf{k}}_t \hat{\mathbf{k}}_t^\top)$ 在 $\operatorname{span}(\hat{\mathbf{k}}_t)$ 上精准抹除陈旧值,而不扰动 $\operatorname{span}(\hat{\mathbf{k}}_t)^\perp$(零 Hebbian 残影)。同时,跨语义深层 $\ell \in [L{\text{layers}}/2, L{\text{layers}})$ 同步聚合的 $|\mathbf{e}t|2$ 充当无需训练的 Surprise Oracle,将高惊讶度的 32-token 连续微页提升为 RoPE 对齐的锚槽,内存增长为 +0.00 Bytes。
庞大的 72.71B(Qwen/Qwen2.5-72B-Instruct,80 层,240 个 SwiGLU MLP)与 7.62B(28 层)3D Pareto
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。