返回资讯中心
外部精选
软件工程
#开发者实时流

开发者让大模型在旧手机和电视盒子上运行

来源标题:I'm making LLMs work on small and old devices

一个名为 smolmaxxing 的项目让老旧设备运行大语言模型:在小米电视盒 S(第三代,约 1GB 可用内存)上运行 260K 到 16B 参数模型,在 2013 年第一代 iPad Air(1GB 内存)上以 24-26 tok/s 运行 1.7B 模型。项目通过定制内核、内存优化和权重流式加载提升性能,每项数据均在真实硬件上实测,实验记录于 EXPERIMENT.md(E1-E160)。

Hacker News 最新mrashad742026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

你身边的每一台设备都比看起来更能干。电视盒子、旧手机、单板计算机和路由器都配有 CPU、RAM 和闪存,一天里大部分时间都闲着。smolmaxxing 做的就是把这份能力释放出来:找出每台设备真正能跑的最大语言模型,再用自定义 kernel、更聪明的内存用法和权重流式加载把它推得更远。每一个结论都在硬件本机上实测。

设备 #1 是小米盒子 S(第三代):Amlogic S7D,4× Cortex-A55 @ 2.5 GHz,1.9 GB RAM(约 1 GB 可用),eMMC 闪存,Android 14,未 root。在这个盒子上,本仓库能跑 260 K 到 16 B 参数的模型:

设备 #2 是第一代 iPad Air(2013):Apple A7,2 核,NEON 但不支持 dotprod,1 GB RAM,iOS 12.5.7,已越狱,仅用 CPU。一台 13 岁的平板能跑 1.7B 参数模型,速度 24-26 tok/s(长对话中 18-22),4B 模型约 10 tok/s,8B 混合专家模型约 3.5 tok/s(只用一半专家时 5 tok/s,但有质量损失),16B 模型 2.6-4.5 tok/s,专家权重从闪存分页加载,运行在它自带 Safari 的一个聊天页面里。详见设备 #2 的结果。

每一步都按实验逐条记录在 EXPERIMENT.md(E1-E160)中。

设备 状态 小米盒子 S(第三代):Amlogic S7D,Cortex-A55,2 GB ✅ 完成:260K → 16B 参数,8B 为 5-7 tok/s,16B 为 5 tok/s iPad Air(2013):Apple A7,2 核,1 GB,iOS 12.5.7,已越狱(ipad-air/) ✅ 运行中:Bonsai-1.7B(1-bit)24-26 tok/s,长对话 18-22;Bonsai-4B 约 10 tok/s;Moon-Beam-8B-A1B(MoE)约 3.5 tok/s;Ling-mini-2.0(16B MoE)2.6-4.5 tok/s;仅用 CPU 更多电视盒子、手机、单板计算机、路由器…… 🔜 即将推出

这些技术并不绑定某一台盒子。1-bit 查表 kernel 只需要基础 NEON,iPad 就是证明;任何带 dotprod 的 ARM 芯片都能用上其他 kernel;任何 Linux 或 Android 设备,只要模型比 RAM 大,就能用流式引擎。

“首次运行”指每个模型第一次在这台盒子上跑起来的时间:

在这台盒子上,2B 是速度与质量的最佳平衡点。Ling-mini-2.0 说明更大并不自动更好:它的体量是 Moon-Beam 的两倍,但每字节得分更低,跑得也更慢。

我们构建的东西,按它攻克的瓶颈分组(细节和数字见“这里有什么”):

质量是在固定 22 KB 文本上的英文困惑度,换算成 bits per byte,以便不同分词器的模型公平比较(越低越好)。速度是在电视盒子上生成的速度,通过 llama-server 发真实聊天请求测量(“chat”),或用 llama-bench 测量(“bench”)。

  • 在剪枝后 head 的位置上测量(1.3% 的 token 落在这个范围外),所以不完全可比;原版全词表 Q4_0 文件得分为 1.024。

其他小模型,原版文件(筛选,§15 E54):

Granite 4.0 H 1B 是唯一质量接近 2B 的模型。按我们的方式重建后(E62),它跑 5.29 tok/s,低于 2B 的 6.55,质量还略低:它每个 token 承载的权重量大约是 0.8B 的两倍。

盒子的物理限制:一个进程在 Android 开始杀进程前大约能占 ~0.96 GB(无头模式下约 ~1.15 GB,强制停止桌面和 Google 服务后),闪存读取最高 278 MB/s,单次约 1 MB 随机读取耗时约 6 ms。一个每 token 需要流式读取 X MB 的模型,速度永远不可能超过 278 / X tok/s。限制 2B 以上一切的是这一点,而不是 CPU,这也是为什么混合专家模型——每个 token 只触及 8 B 权重中的约 1 B——是突破它的途径。

8 B 跑 10 tok/s?实测,不是猜的(E98):Moon-Beam 在每 token 2 个专家时达到 10.4 tok/s,但文本变成乱码;最佳连贯设置约 7-8 tok/s。稠密 Qwen3-8B 就是 1 bit 的 Bonsai-8B,而最小的 Qwen MoE(35B-A3B)每 token 触及的权重是 Moon-Beam 的 3 倍。

2013 年的 iPad Air:Apple A7,2 核,NEON 但不支持 dotprod,1 GB RAM,iOS 12.5.7,用 Amethyst 越狱。一切都在 CPU 上以 2 线程、1,024 token 上下文运行,从 Mac 交叉编译。详细记录是 EXPERIMENT.md 的 §21,构建步骤在 ipad-air/README.md。

只有 Bonsai 和 Moon-Beam 两行是在最新构建上测的。其他行早于下面的 attention 和 sampler 工作。

“无法加载”:iOS 12 允许一个进程最多映射约 1.7 GB,所以原版 llama.cpp 在 2.6 和 5.5 GB 文件上还没跑出一个 token 就失败了。Moon-Beam 的“首次运行”是第一次 expert-pager 运行(pool 8,no bias)。

我们在 iPad 上构建的东西,按它攻克的瓶颈分组:

Bonsai-1.7B 如何从 2.75 提升到约 25 tok/s(全程同一模型文件):

在长对话(400 token 回答)中,仅靠 attention 方面的工作,三轮就从 15.4 / 7.6 / 8.2 提升到 21.8 / 17.9 / 18.4 tok/s。让长对话保持在 17 以上的剪枝阈值,在 1,024 token 上下文下带来 +0.42% 的困惑度代价,接近 ±0.3% 的噪声底;GGML_FA_EPS=0.0001 用约 15 tok/s 换回这部分。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →