
Edge0 开源 145B 参数端侧 AI 模型,可在个人电脑本地运行
来源标题:Edge0-145B: Frontier AI Capabilities on Your Own Computer
Edge0 开源了 Edge0-145B 和 Edge0-120B 两款端侧模型,并同步发布统一推理框架与部署工具。其中 Edge0-145B 号称全球首个 1450 亿参数的开源端侧 AI 模型,可在个人笔记本上运行,其编码、推理和智能体能力对标前沿云端模型。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
今天我们开源了 Edge0-145B 和 Edge0-120B,以及配套的统一推理框架和部署工具。Edge0-145B 是全球首个开源的、参数量达到 1450 亿的端侧 AI 模型。它把足以媲美前沿云端模型的编码、推理和 agent 能力,带到了你自己的电脑上。
长期以来,端侧 AI 始终被迫在模型能力与硬件可运行范围之间做取舍。更大的模型需要更多内存、带宽和功耗;更小的模型则难以胜任复杂工作。而把这类工作搬到云端,又会带来模型提供方费用、数据处理限制以及对网络连接的依赖。
本次发布从四个方面应对这些约束: 我们开源了完整技术栈,开发者可以复现结果、评估或微调模型,并将其集成到自己的产品中。 获取模型权重、探索推理框架,或试用 Edge0 App。
Edge0-145B 让一个 1450 亿参数的模型可以在个人笔记本电脑上使用。一个有实用价值的本地模型必须能装进内存、及时处理 prompt、生成速度足够快以至于可用,并且把功耗控制在合理范围内。它还需要能支撑更长的任务。
我们此前发布的手机端 Edge0-35B 报告峰值内存低于 2.5GB。在 iPhone 18 Pro Max 上,Edge0-35B 使用约 2.5GB 内存即可达到 37+ tokens/s。Edge0-145B 的参数量约为其四倍;其笔记本对比测试报告 80+ tokens/s 和 28GB 峰值内存。这些测量分别针对不同的模型和硬件。
端侧模型规模随时间的变化。该图覆盖来自 14 个实验室的 67 个至少 10 亿参数的开源模型,面向手机、笔记本和 AI PC。同尺寸的 base、instruct 和 reasoning 变体只计一次;每条线追踪一个实验室最大的模型,包括 2025 年 7 月之前的发布。实心点标记新纪录,空心点标记其他发布。400 亿以下采用对数刻度,以上采用线性刻度。Apple 因未公开权重而被排除。来源:厂商公告和模型卡。
在 2026 年 9 月之前,内存限制使大多数端侧模型的参数量保持在 100 亿以下。Apple Intelligence 的端侧基础模型约为 30 亿参数,Google 的 Gemini Nano 则有 18 亿和 32.5 亿两个版本。即便是 70 亿参数的模型,也可能占用约 4GB 内存。
更大的模型面临内存墙。模型权重占用存储空间,并且在生成过程中必须被读取,这会与操作系统和其他应用争夺有限的内存和带宽。即便是一个经过激进压缩的 350 亿参数模型,也可能需要约 20GB 内存,远超手机所能提供的水平。
算力、带宽和功耗构成了相互制约的约束。更大的模型能力更强,却会挤压内存容量、生成速度和电池续航。把模型做小有助于装进设备,但往往以能力为代价。
仅靠隐私保护无法弥合这一差距。Apple Intelligence 保护了用户数据,但 Apple 也承认其端侧模型并非为需要通用世界知识的 agent 类应用而设计。当时的普遍假设是,端侧智能无法与云端匹敌。
我们在设计 Edge0-145B 时将其与推理引擎一同考虑,以减少那些使大模型难以在本地运行的内存占用和数据搬运。设计涵盖架构、训练、加载和调度。
架构:在稀疏专家之间共享大型矩阵。共享矩阵大幅减少了必须存储和搬运的权重,同时保持专家数量不变。每 64 个专家为一组,共享两个大型矩阵,而每个专家保留一小组参数以体现其差异。此前,每个专家都存储一整套矩阵。在模型 1450 亿总参数中,每次推理步骤只有约 100 亿参数参与计算。
训练:从第一天起就为本地执行而构建。我们从一开始就按端侧架构训练模型,把部署约束内建于设计中。这避免了把本地部署当作训练完云端模型之后的压缩或剪枝步骤。
加载:让 GPU 内存、系统内存和 SSD 访问形成流水线。读取与计算在三个存储层级之间重叠进行,避免串行等待。频繁使用的“热专家”常驻 GPU 内存。约 40GB 的专家库放在系统内存中,按需将专家调入 GPU 内存。约 48GB 的词表数据存放在 SSD 上,按需读取。
调度:同时利用 CPU 和 GPU。GPU 计算已缓存的专家,CPU 并行处理剩余工作。投机解码一次验证多个候选 token,把读取权重的成本分摊到更多输出 token 上。这些选择支撑了所报告的 80+ tokens/s 解码速率。
模型与推理引擎的协同设计,使 100B+ 参数的推理在个人电脑上变得可行。来源:内部测试。
这些改动共同作用,使参数量从数百亿增长到超过一千亿,而内存占用、功耗和延迟并未成比例上升。
Edge0-145B 能把一个复杂任务推进到可用的结果。它的编码和推理能力支撑本地工作流,将规划、工具使用、执行、调试和视觉检查结合起来。基准测试确立了它的能力;演示则展示了它如何把这些能力用起来。
Edge0-145B 在编码、推理、知识和指令遵循方面,可与特定的前沿云端模型竞争: 它在 Terminal-Bench 2.1 上的 86.52 分也超过了 Qwen3.8-Flash-Next 的 83.3、DeepSeek-V4-Flash-0731 的 82.7 和 Claude 的 78.2。在 AA-LCR 上,Edge0-145B 得分为 79.3,Claude 为 78.0。这些比较仅适用于所提及的模型和评估。
分数为百分比,越高越好。短横线表示没有公开分数,而非分数为零。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。