返回资讯中心
外部精选
软件工程
#开发者实时流

开发者成功在ESP32上运行Qwen3.8-27B模型

来源标题:Running Qwen3.8-27B on an ESP32

开发者Luv Sheth在ESP32-S3上运行了Qwen3.8-27B大模型,用SD卡充当内存。他还改用Qwen 3.6 35B A3B这款MoE模型,并将SD卡接口时钟从20MHz提升到40MHz来提速。他坦言ESP32并不适合这项任务,乐趣在于让它跑起来。

Hacker News 最新Reviving15142026/11/16 · 昨天6 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Luv Sheth 2026年11月16日 分享 我有个猜想:这件事既可行又简单,所以非得亲自试一试不可…… 我让 Qwen3.8 27B 在 ESP32 上跑起来了 :) 把 SD 卡当内存用。下面的视频展示了更多细节: 有几个简单办法可以提高每周的 token 数,那我们就动手做吧。 我们可以改用 Qwen 3.6 35B A3B,这是一个 MoE 模型,在 ESP32 上跑稍微合理一点(也没合理到哪去)。由于这个模型用的是 3B 专家,每次不必从内存中读取整个模型,因此速度快得多。 看看能不能再优化一点。 把 SD 卡接口时钟频率从 20MHz 提到 40MHz 从这里开始,如果真想提速,还有几个简单办法,下面会标出来: 不过 ESP32 显然不适合干这活,好玩的地方就在于把它跑起来——所以暂时就先到这里吧。 实现细节的 AI 总结 下面是 AI 总结的一些实现细节,如果你有兴趣复现可以参考: 硬件是一块 Freenove ESP32-S3 N16R8,运行在 240 MHz,配有 8 MiB PSRAM、16 MiB flash 和一张 32 GB microSD 卡。这张卡通过一位 SDMMC 连接、以 20 MHz 使用 FAT32,后来改成了 40MHz。 GGUF 首先在 PC 上导出为独立的 tensor 文件和配套的 tokenizer 表,保留量化后的权重。35B 模型包在卡上约占 20.54 GB。拆成 tensor 文件也规避了 FAT32 的单文件大小限制。 MicroPython 在 ESP32 上协调 tokenization、模型各层和文件操作。矩阵-向量运算会加载一个输入向量,并把几行量化权重流式读入可复用的 RAM 缓冲区。常规批次是四行,分配失败时回退到两行或一行。自定义的原生 C kernel 负责解码量化块、乘以输入值并累加 FP32 结果。因此昂贵的算术运算都在原生代码中执行。 激活值、循环状态和 attention KV cache 也都存放在 SD 卡上的文件里。运算时把需要的部分读入 RAM,计算完再写回结果并复用缓冲区。这是用 RAM 占用换取大量的存储读写和延迟。 每个文本解码层都会执行,输出生成使用不受限制的词表头。PC 提供接口并记录串口日志;它不为物理 ESP32 上的运行执行推理。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →