PROMETHEVS 让 12GB 显存的普通 PC 本地跑起完整 DeepSeek-V4.1-Flash-1017

原始模型，不是缩小版副本 · 64 GB 内存加一块 12 GB 的 NVIDIA 显卡 · 免费开源

PROMETHEVS 能在一块甚至装不下它的普通 PC 上运行 DeepSeek-V4.1-Flash-1017——最强开源模型之一，使用其全部 510 GB 原始权重。这台 PC 配置为：Ryzen 9 3950X、64 GB DDR4 内存、一块 12 GB 的 RTX 3060，以及两块 NVMe 硬盘。

PROMETHEVS 引擎依靠 Ryan Flavell 设计的“先压缩、再纠正”方法实现这一点。每个词首先在模型专家的 2-bit 副本上计算。当模型自身不确定时（排名前两位的候选非常接近），该词会用原始权重重算，这些权重从存储的纠正平面精确重建。这样你既能获得接近压缩副本的速度，又能得到接近完整模型的答案。

初次使用？先检查所需条件，然后安装。

系统 Windows 10 或 11，64 位 CPU 支持 AVX2 的 x86-64；建议 16 核 内存 64 GB GPU 一块 NVIDIA RTX 30 或 40 系列显卡，12 GB 显存（计算能力 8.6-8.9），驱动 580 或更新 磁盘 NVMe 上约 1.1 TB 可用空间（单盘，或分拆到两块盘） 下载 约 510 GB 的 DeepSeek 原始权重，外加约 3 GB 的转换器 时间 在构建用 PC 上，下载完成后，store 构建约需 4 小时

安装包中的硬件检查会测试以上所有条件，并在任何一项不达标时提前告知你。完整列表见 engine-0.2/INSTALL.md。

从最新 release 下载 PROMETHEVS_0.2.zip 并解压，例如解压到 C:\promethevs_pkg。

在 PowerShell 中，从该文件夹运行： powershell -ExecutionPolicy Bypass -File scripts\check_hardware.ps1 # 检查 PC，选择硬盘 powershell -ExecutionPolicy Bypass -File scripts\build_stores.ps1 --run # 下载权重，构建 store（可断点续传） powershell -ExecutionPolicy Bypass -File scripts\start_engine.ps1 # 启动引擎（约 1 分钟） python scripts\py\verify_install.py --speed # 检查安装并测量速度

将任何兼容 OpenAI 的应用指向 http://127.0.0.1:8100/v1，模型名为 deepseek-v4.1-flash-1017-promethevs，API key 任意非空即可。请先关闭其他占用显卡的程序。

每个步骤、各步骤所需时间和磁盘空间，以及已知的不足，都写在 engine-0.2/INSTALL.md 中。发布说明见：engine-0.2/RELEASE_NOTES_0.2.md。

以下数据在构建用机器上测得，每个 prompt 生成 160 个新 token，每次运行两轮。冷启动是指以空专家缓存开始的一轮。热启动是指同一 prompt 的第二轮，保留第一轮的缓存，这是缓存的最佳情况；而发送不同 prompt 的真实会话介于两者之间。每次单独运行的结果都在 RESULTS.md 中。

一致率是逐词对照精确路径在相同历史下会选择的词来衡量的。漏检是指引擎因为没有检查而出现的差异，因为模型当时很自信；未检查计数统计的就是这些。统计所有差异时，还包括引擎检查过、但有意保留在接近平局状态的词（两个词概率几乎相同）。单独使用 2-bit 副本时，它在 97.4% 的词上选出了全权重词；加上纠正后，统计所有差异时为 98.33%（按未检查计数为 99.17%）。该引擎与基线构建有两处不同：它也以 2-bit 格式保存 draft head 的专家，并且把第一轮的专家缓存保留到第二轮。保留缓存提升了代码 prompt，但没有提升推理或 agent prompt（报告中给出了背后的轮次计时）。在全部三轮热启动代码运行中，没有一次纠正推翻某个词，因此缓存、2-bit draft head 和“无推翻”这三者无法分离，7.4 只是最佳情况，不是典型会话。

PROMETHEVS 引擎同时做四件事。

2-bit 副本为每个词给出答案。专家以比原始 FP4 更小的 2-bit 格式存储，因此每个词需要从磁盘读取的字节更少。这正是这台机器快到足以实用的原因。

模型自身的置信度决定哪些词需要重做。对每个词，引擎查看模型排名前两位候选之间的差距。当差距低于阈值时——这里的 gate 为 0.45——该词会被标记。

被标记的词会被精确纠正。存储的纠正平面能把专家的 2-bit 副本还原为精确的 FP4 专家，因此一次纠正得到的就是完整模型对该词的答案。

draft head 一次提出多个词。DeepSeek 随模型提供了一个 draft head。引擎在并行通道中一起检查它的猜测，从而把读取专家的成本分摊到多个词上。模型最常用的专家驻留在 GPU 内存中；其余专家则放在内存和两块硬盘上。

该方法就是 Ryan Flavell 设计的“先压缩、再纠正”；PROMETHEVS 引擎围绕它构建。投机解码、量化 draft 和卸载式混合专家推理是它所基于的工作；报告将该方法与最接近的参考工作进行了对比。

构建用机器是一台 Windows 11 台式机，64 GB DDR4 内存，一块 RTX 3060 12 GB，以及两块 NVMe 硬盘（2 TB 和 1 TB）。store 需要约 1,009 GiB：475 GiB 原始权重，加上 534 GiB 派生 store（2-bit 副本、纠正平面，以及前几层的 FP4 副本）。磁盘是任何人复现此事时最大的障碍。我们让每块硬盘的占用率保持在约 90% 以下。

以上所有数字都来自一台 PC。如果你在自己的机器上运行 0.2 版，请把 python scripts\py\verify_install.py --speed 的输出和引擎日志作为基准报告发送过来。报告会随到随加在这里。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）