返回资讯中心
外部精选
软件工程
#开发者实时流

Strata 让 125B MoE 模型在单张 12GB 显卡上运行

来源标题:Run 125B+ MoE on consumer GPUs

开源项目 Strata 通过动态稀疏路由卸载技术,使 Qwen3.8-Flash-Next 125B 等大规模 MoE 模型可在单张 12GB 显卡加 64GB 内存的消费级设备上本地运行,无需云端依赖。其原理是将活跃专家权重提前预判并流式传输,常驻部分保留在显存中,峰值速度约 25-38 tok/s,兼容 OpenAI 与 Anthropic API 标准。

Hacker News 最新DerDerDaIst2026/11/12 · 5 天前4 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

由 Niko1221 的动态稀疏路由卸载技术驱动。在单张 12GB NVIDIA 显卡和 64GB 系统内存上运行 Qwen3.8-Flash-Next 125B 这类服务器级前沿模型——完全不依赖云端。

git clone https://github.com/Niko1221/Strata.git cd Strata .\START-HERE.bat 阅读安装指南 → ⭐ 查看 GitHub 仓库 ↗ 最低 GPU 显存 12 GB 显存 峰值速度 25 - 38 tok/s API 标准 OpenAI 与 Anthropic 作者 Niko1221 工程架构 Strata 如何突破显存瓶颈 传统推理引擎在 125B 模型超出 GPU 显存时会直接崩溃。Strata 利用混合专家架构的稀疏特性,仅流式加载激活的权重:

在 Qwen 125B 这类 MoE 模型中,每个 token 只会激活 64 个专家中的 2-8 个。Strata 会提前 1-2 个 token 预测将要调用的专家层,将它们排队等待即时 DMA PCIe 传输。

关键的注意力头和频繁触发的专家常驻在你的 12GB GPU 显存中。其余 90GB 的休眠权重则通过高速 64GB DDR5 内存流式传输。

权重通过 PCIe 4.0/5.0 经异步 CUDA 流直接传输到 tensor core,完全绕过 CPU 计算周期,避免卡顿。

在标准单张 RTX 4070(12GB 显存)搭配 64GB DDR5 上测试 Qwen3.8-Flash-Next(1250 亿参数):

关于搭建 Strata 和配置 MoE 量化,你需要了解的一切。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →