返回资讯中心
外部精选
软件工程
#开发者实时流

开发者用 C 语言写出 3KB 大模型推理引擎,可直接运行 SmolLM2-135M

来源标题:Show HN: A 3KB LLM inference engine in C

一个仅 3156 字节的 C 程序能运行 SmolLM2-135M 大模型,生成结果与 Hugging Face transformers 的贪心解码逐 token 完全一致。它直接读取原始 model.safetensors 和 tokenizer.json,无需转换格式,二进制大小不含模型文件。配套 Python 前端只负责调用该二进制和显示界面,不计入 3KB 体积。

Hacker News 最新utsav10332026/11/3 · 14 天前7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个程序能做到多小,还能开口说话? 一个 C 程序,运行 SmolLM2-135M——一个真正的 LLM,并且生成的贪心 token 与 Hugging Face transformers 完全一致。它直接读取原始的 model.safetensors 和 tokenizer.json,无需任何转换器。 二进制文件大小为 3,156 字节(Linux arm64)。 $ ./smol ╭──────────────────────────────────────────────────────────╮ │ ✻ smol │ │ │ │ engine 3,156 bytes of C │ │ model SmolLM2-135M, unmodified safetensors │ │ decode greedy, matches HF transformers token for token │ ╰──────────────────────────────────────────────────────────╯

def fibonacci(n): def fibonacci(n): if n == 0: return 0 elif n == 1: return 1 else: return fibonacci(n - 1) + fibonacci(n - 2) print(fibonacci(10)) end of text · 6.7s smol 是一个可选的 Python 前端。它只负责运行该二进制文件并绘制屏幕,不属于那 3,156 字节的一部分。 引擎本身是 ./final "prompt" [n_tokens]。 Size = 最终二进制文件的字节数。模型文件不计入其中。 Correct = 贪心解码,且前 100 个 token 与 HF transformers(fp32)完全一致。只要有一个 token 不同就算失败。 模型文件未经修改。它直接读取原始的 model.safetensors 和 tokenizer.json。 Speed = 同一台机器、同一提示词、重复运行,并注明提示词长度。 运行方式 你需要 arm64 Linux。我在 M4 Mac 上的 OrbStack 中测试过。它应该也能在 64 位 Raspberry Pi 4/5 或 AWS Graviton 上运行,但我还没有试过。

model files (original, from Hugging Face)

mkdir ~/smol && cd ~/smol for f in model.safetensors tokenizer.json; do curl -LO https://huggingface.co/HuggingFaceTB/SmolLM2-135M/resolve/main/$f done

run (must be run from the model folder)

/path/to/bin/final "The cat sat" 50 /path/to/smol # the little CLI, SMOL_DIR=~/smol by default 工作原理(简述) 每一行都在进行下一次修改之前通过了精确匹配检查。 M4,OrbStack Ubuntu 虚拟机,1 线程。提示词 "The cat sat"(3 个 token)+ 100 个新 token。每组运行 3 次;时间包含加载。 仅限 Linux arm64:原始系统调用和一个汇编解包器。 最低 ID 的 BPE 捷径经过了测试,但并未得到证明。每个合并结果的 id = rank + 252(已对全部 48,900 个进行检查)。它在 122,463 个不同的片段上与真实 BPE 匹配(bpe_sim.py)。 预分词器将每个 ≥ 0x80 的字节视为字母。它通过了重音符号、日语和 emoji 测试,但并不是完整的 Unicode 正则。 输入到提示词中的特殊 token(<|endoftext|>)不会被映射到其特殊 ID。 没有错误处理。它必须在模型文件夹中运行。提示词 + 输出 ≤ 1024 个 token。 这是一个基础模型:它续写文本,而不是聊天。 构建 在装有 clang、lld 和 python3 的 arm64 Linux 中:

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →