
开发者让大语言模型在小米电视盒和初代 iPad Air 上运行
来源标题:I'm making LLMs work on small and old devices
开发者发起 smolmaxxing 项目,通过自定义内核、内存优化和权重流式加载,让大语言模型在老旧设备上运行。小米电视盒 S(3rd Gen,约 1GB 可用内存)可运行 260K 至 16B 参数模型;2013 年初代 iPad Air 运行 1.7B 模型达 24-26 tok/s,16B 模型为 2.6-4.5 tok/s。全部实验数据均在设备本机实测,过程记录于 EXPERIMENT.md(E1-E160)。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
你身边的每台设备都比看上去更能干。电视盒子、旧手机、单板计算机和路由器出厂时都带着 CPU、内存和闪存,而这些东西一天里大部分时间都闲着。smolmaxxing 要做的就是把这些能力释放出来:找出每台设备真正能跑的最大语言模型,再用自定义 kernel、更聪明的内存使用和权重流式加载把它推得更远。每一项结论都在硬件本身上实测过。
设备 #1 是小米盒子 S(第三代):Amlogic S7D,4× Cortex-A55 @ 2.5 GHz,1.9 GB 内存(约 1 GB 可用),eMMC 闪存,Android 14,未 root。在这个盒子上,本仓库能跑 260 K 到 16 B 参数的模型:
设备 #2 是第一代 iPad Air(2013):Apple A7,2 核,NEON 但不带 dotprod,1 GB 内存,iOS 12.5.7,已越狱,仅用 CPU。一台 13 年前的平板跑 1.7B 参数模型能到 24-26 tok/s(长对话中 18-22),4B 的约 10 tok/s,8B 的 MoE 约 3.5 tok/s(只留一半专家时 5 tok/s,但要牺牲质量),16B 的 2.6-4.5 tok/s,专家的权重从闪存分页加载,跑在它自带 Safari 的一个聊天页面里。详见设备 #2 上的结果。
每一步都按实验逐条记录在 EXPERIMENT.md(E1-E160)里。
设备 状态 小米盒子 S(第三代):Amlogic S7D,Cortex-A55,2 GB ✅ 完成:260K → 16B 参数,8B 达 5-7 tok/s,16B 达 5 tok/s iPad Air(2013):Apple A7,2 核,1 GB,iOS 12.5.7,已越狱(ipad-air/) ✅ 运行中:Bonsai-1.7B(1-bit)24-26 tok/s,长对话 18-22;Bonsai-4B 约 10 tok/s;Moon-Beam-8B-A1B(MoE)约 3.5 tok/s;Ling-mini-2.0(16B MoE)2.6-4.5 tok/s;仅 CPU 更多电视盒子、手机、单板计算机、路由器…… 🔜 即将到来 这些技术并不绑定在某一个盒子上。1-bit 查表 kernel 只需要基础 NEON,iPad 就是证明;任何带 dotprod 的 ARM 芯片都能用其余 kernel;任何 Linux 或 Android 设备,只要模型比内存大,都能用上流式引擎。
「首次运行」指每个模型第一次在该盒子上跑起来的时间:
在这个盒子上,2B 是速度与质量的最佳平衡点。Ling-mini-2.0 说明大并不自动更好:它的体积是 Moon-Beam 的两倍,但每字节得分更差,跑得也更慢。
我们构建的东西,按它攻克的瓶颈分组(细节和数字见「这里有什么」):
质量是在固定 22 KB 文本上的英文 perplexity,换算成 bits per byte,以便不同 tokenizer 的模型公平比较(越低越好)。速度是在电视盒子上生成的速度,通过 llama-server 用真实聊天请求测得(「chat」),或用 llama-bench 测得(「bench」)。
- 在剪枝后 head 的位置上测得(1.3% 的 token 落在这个范围外),所以不能完全直接比较;原版全词表 Q4_0 文件得分为 1.024。
其他小模型,原版文件(筛选,§15 E54):
Granite 4.0 H 1B 是唯一质量接近 2B 的模型。按我们的方式重建后(E62),它跑 5.29 tok/s,低于 2B 的 6.55,质量也略低:它每 token 承载的权重大约是 0.8B 的两倍字节。
盒子的物理限制:一个进程在 Android 开始杀进程之前大约能占 ~0.96 GB(headless 模式下约 ~1.15 GB,前提是强制停止桌面和 Google 服务),闪存读取最高 278 MB/s,一次约 1 MB 的随机读取要花约 6 ms。一个每 token 需要流式读取 X MB 的模型,永远不可能超过 278 / X tok/s。限制 2B 以上一切的是这个,而不是 CPU,这也是为什么混合专家模型——每 token 只触及 8 B 权重中的约 1 B——是突破它的途径。
8 B 跑到 10 tok/s?实测,不是猜的(E98):Moon-Beam 在每 token 2 个专家时达到 10.4 tok/s,但文本变成了胡言乱语;连贯性最好的设置是约 7-8 tok/s。稠密 Qwen3-8B 就是 1 bit 的 Bonsai-8B,而最小的 Qwen MoE(35B-A3B)每 token 触及的权重是 Moon-Beam 的 3 倍。
一台 2013 年的 iPad Air:Apple A7,2 核,NEON 但不带 dotprod,1 GB 内存,iOS 12.5.7,用 Amethyst 越狱。一切都在 CPU 上以 2 线程、1,024 token 上下文运行,从 Mac 交叉编译。详细记录在 EXPERIMENT.md 的 §21,构建步骤在 ipad-air/README.md。
只有 Bonsai 和 Moon-Beam 两行是在最新构建上测得的。其余各行早于下面要讲的 attention 和采样器工作。
「无法加载」:iOS 12 一个进程最多只能映射约 1.7 GB,所以原版 llama.cpp 在 2.6 和 5.5 GB 的文件上还没跑出一个 token 就失败了。Moon-Beam 的「首次运行」是第一次 expert-pager 运行(pool 8,无 bias)。
我们在 iPad 上构建的东西,按它攻克的瓶颈分组:
Bonsai-1.7B 如何从 2.75 提升到约 25 tok/s(全程同一个模型文件):
在长对话中(400 token 的回答),仅靠 attention 方面的工作,三轮就从 15.4 / 7.6 / 8.2 提升到 21.8 / 17.9 / 18.4 tok/s。把长对话保持在 17 以上的剪枝阈值,在 1,024 token 上下文下多付 +0.42% 的 perplexity,接近 ±0.3% 的噪声底;GGML_FA_EPS=0.0001 用约 15 tok/s 换回这部分损失。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。