返回资讯中心
外部精选
软件工程
#开发者实时流

Sevren 发布手机端推理模型 Embla-1,离线运行且免请求费

来源标题:Embla-1

Sevren 推出可在手机本地离线运行的推理模型 Embla-1,每次请求不产生费用。在 4 bit 量化下,该模型在 BFCL、IFBench、AA-Omniscience、GPQA 和 MATH-500 上平均得分 57.4,在 iPhone 18 Pro 上端到端响应耗时 1.77 秒。Sevren 称同机型上得分更高的模型耗时至少是其两倍,该模型基于 16 个 8×H100 节点训练。

Hacker News 最新Munksgaard2026/11/13 · 4 天前13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Embla 1 在手机上运行,隐私、离线、每次请求免费。下面是我们如何训练它,以及在我们 4 bit 测试中它与其他小模型的对比。

在 4 bit 下,Embla 1 在 BFCL、IFBench、AA-Omniscience、GPQA 和 MATH-500 上平均得分 57.4,在 iPhone 18 Pro 上端到端回答耗时 1.77 s。* 在我们的测量中,得分更高的模型在同一部手机上至少要多花一倍时间。

Embla 1 是一个为在手机上运行而构建的推理模型,隐私、离线、每次请求免费。我们设计它时追求速度快、每个回答用的 token 少,并在 16 个 8× H100 节点上训练。 10 20 30 40 50 60 70 0.5 s 1 s 2 s 4 s 8 s 16 s iPhone 18 Pro 上的端到端延迟,1,024-token prompt + 256 个生成 token(对数刻度) 平均分 超越前沿 前沿之内 提供商 Sevren Google IBM Liquid AI Alibaba OpenBMB LFM2.5-230M:26.1,0.61 s LFM2.5-230M LFM2.5-350M:25.2,0.84 s LFM2.5-350M Granite 4.0 350M:17.8,1.05 s Granite 4.0 350M MiniCPM5-1B:43.1,1.95 s MiniCPM5-1B LFM2.5-1.2B:42.7,2.29 s LFM2.5-1.2B LFM2.5-8B-A1B:58.8,3.59 s LFM2.5-8B-A1B LFM2-2.6B-Exp:47.5,4.90 s LFM2-2.6B-Exp Gemma 4 E2B:52.8,4.95 s Gemma 4 E2B LFM2.5-2.6B:62.7,5.33 s LFM2.5-2.6B Granite 4.2 3B:61.0,6.80 s Granite 4.2 3B Gemma 4 E4B:60.4,9.53 s Gemma 4 E4B Qwen3.5-4B:60.0,9.69 s Qwen3.5-4B Embla 1:57.4,1.77 s Embla 1 57.4 · 1.77 s

  • Embla 1 使用我们自己的 Metal 实现进行解码。在 llama.cpp 中耗时 2.18 s。其他模型在 llama.cpp 中运行。 架构 Embla 1 在手机上于 prefill 和解码两方面都追求速度。它有 32 层、宽度 2048,每个 token 有 8 个(共 96 个)路由专家和一个共享专家。我们用了 15 个 128 token 的滑动窗口层、12 个稀疏注意力层和 5 个全注意力层。更多细节见《The Architecture of Embla 1》。它围绕以下几点构建: 模型先在 1.4T token 上预训练,然后做了 20B token 的扩展,把上下文拉到 256K。后训练阶段,我们在 123B token 上跑 SFT。最后 2,000 个 SFT 步骤用量化感知训练(QAT)[1] 训练,之后所有阶段都在 4 bit 下运行。RL 方面,我们跑了 100 步 on-policy 蒸馏(OPD)[2]、800 + 200 步 GRPO [3] 以及 300 步多教师 on-policy 蒸馏(MOPD)[4]。GRPO 之前的每个阶段都从更大的模型蒸馏 [5]。 预训练在 4K 上下文下分两个阶段进行:先 1T token 不用 document masking,再 400B token 用它。我们使用 Qwen3.8 的 tokenizer,裁剪到 65,536 个 token。从第一步起,模型就从 Qwen3.5-35B-A3B-Base 蒸馏,在其 top-256 logits 上用 0.9 × KL 加 0.1 × 交叉熵。它的 embedding 和输出头从教师模型的 top 主成分初始化 [6]。Muon [7] 训练权重矩阵,其余部分用 AdamW,批量 4M token,学习率恒定。随后我们用 Qwen3.5-35B-A3B Instruct 作为教师,在 20B token 上把上下文扩展到 256K。 SFT。我们在 123B token 上训练,使用 32K 打包序列,以 Qwen3.5-35B-A3B Instruct 作为 assistant token 的教师。数学、代码和 STEM 的推理轨迹上限为 8K token。每十个推理 prompt 中有一个不带推理。最后 2,000 步以手机运行时的 4-bit 格式跑 QAT:每 64 个一组做 round-to-nearest,每组一个 bf16 scale 和 offset。 OPD。我们跑 100 步,答案最长 8K token。Qwen3.8-27B 和 Qwen3.5-35B-A3B 逐 token 给每个答案打分。两者都裁剪到我们的词表,保留 99.1% 的概率质量。 GRPO。我们跑 800 步,每个 prompt 16 个答案,不用参考模型。验证器给数学、代码、工具调用和指令遵循打分。另外 200 步加入由 gpt-oss-120b 评判的知识题 [8]:答对 +1,弃答 0,答错 −1。其中最后 180 步加入循环惩罚 [9]:正确答案中重复的 40-gram 每 token 扣 10−4,最多扣到 0.5。触及 16K 上限的答案从 20.7% 降到 1.8%。 MOPD。我们跑 300 步,以经 GRPO 训练的专家模型作为四个领域的教师:工具使用、指令遵循、数学和弃答。 得分是 BFCL、IFBench、AA-Omniscience、GPQA 和 MATH-500 的平均值,每个答案最多 16K token,推理开启。所有模型都在 4 bit 下运行:Embla 1 用手机运行时的格式,其他模型用其官方 Q4_K_M GGUF 权重。每个模型使用其实验室推荐的采样设置。延迟基于 iPhone 18 Pro 上的 4-bit 构建,prompt 1,024 token,输出 256 token。 这些是我们自己的测量:一部手机、一套评测框架、五个基准。每个平均值约有 ±1 点的不确定度,其他设置下模型排名可能不同。 十二个模型中有五个得分高于 Embla 1。LFM2.5-8B-A1B 领先 1.4 分,耗时是它的 2.0 倍。LFM2.5-2.6B、Granite 4.2 3B、Gemma 4 E4B 和 Qwen3.5-4B 领先 2.6 到 5.3 分,耗时是它的 3.0 到 5.5 倍。在我们测试的推理模型中,Embla 1 每个回答写的 token 最少: Embla 1 在数学上明显落后:MATH-500 上 76.1,而 LFM2.5-8B-A1B 是 89.6,LFM2.5-2.6B 是 90.5。还有很多需要改进。 Embla 1 的 4-bit 权重已在 Hugging Face 上发布。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →