
PROMETHEVS 在 12GB 显卡的普通 PC 上本地运行完整版 DeepSeek-V4.1-Flash-1017
来源标题:Promethevs: Full DeepSeek-v4.1-Flash-1017, locally, on 12GB of VRAM
开源项目 PROMETHEVS 借助「先压缩再纠正」的方法,让一台仅配 12GB 显存 RTX 3060 的普通 PC 本地运行完整版 DeepSeek-V4.1-Flash-1017(约 510GB 原始权重)。具体做法是先以 2-bit 专家副本计算,当模型不确定时再用原始权重精确重算。硬件要求包括 64GB 内存、约 1.1TB NVMe 空间,首次构建大约需要 4 小时。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
原始模型,而非缩小版副本 · 64 GB 内存加一块 12 GB NVIDIA 显卡 · 免费且开源
PROMETHEVS 能在一台甚至无法完整加载该模型的普通 PC 上运行 DeepSeek-V4.1-Flash-1017(最强的开源模型之一)的全部 510 GB 原始权重:配置为 Ryzen 9 3950X、64 GB DDR4 内存、12 GB 显存的 RTX 3060,以及两块 NVMe 硬盘。
PROMETHEVS 引擎依靠 Ryan Flavell 设计的“先压缩、后校正”方法实现这一点。每个词首先在模型专家的 2-bit 副本上计算。当模型自身不确定时(其前两个候选非常接近),该词会用原始权重重新计算,而原始权重是从存储的校正平面精确重建的。这样你既能获得接近压缩副本的速度,又能获得接近完整模型的答案。
初次使用?先检查所需条件,然后安装。
系统 Windows 10 或 11,64 位
CPU 支持 AVX2 的 x86-64;推荐 16 核
内存 64 GB
GPU 一块 NVIDIA RTX 30 或 40 系列显卡,12 GB 显存(计算能力 8.6-8.9),驱动 580 或更新
磁盘 NVMe 上约 1.1 TB 可用空间(单盘,或分拆到两块盘)
下载 约 510 GB 的 DeepSeek 原始权重,外加约 3 GB 的转换器
时间 在构建 PC 上,下载完成后,存储构建约需 4 小时
安装包中的硬件检查会测试以上所有条件,并提前告知你是否有任何一项不达标。完整列表见 engine-0.2/INSTALL.md。
从最新 release 下载 PROMETHEVS_0.2.zip 并解压,例如解压到 C:\promethevs_pkg。
在 PowerShell 中,从该文件夹运行:
powershell -ExecutionPolicy Bypass -File scripts\check_hardware.ps1 # 检查 PC,选择硬盘 powershell -ExecutionPolicy Bypass -File scripts\build_stores.ps1 --run # 下载权重,构建存储(可续传) powershell -ExecutionPolicy Bypass -File scripts\start_engine.ps1 # 启动引擎(约 1 分钟) python scripts\py\verify_install.py --speed # 检查安装并测量速度
将任何兼容 OpenAI 的应用指向 http://127.0.0.1:8100/v1,模型为 deepseek-v4.1-flash-1017-promethevs,API key 任意非空即可。请先关闭其他占用显卡的程序。
每个步骤、各步骤所需的时间和磁盘空间,以及已知的不足,都写在 engine-0.2/INSTALL.md 中。发布说明:engine-0.2/RELEASE_NOTES_0.2.md。
以下数据在构建机上测得,每个 prompt 生成 160 个新 token,每次运行两轮。冷启动是指以空专家缓存开始的一轮。热启动是指同一 prompt 的第二轮,保留第一轮的缓存,这是缓存的最佳情况;而一个发送不同 prompt 的真实会话介于两者之间。每次单独运行的结果都在 RESULTS.md 中。
一致率是逐词对照精确路径在相同历史下会选择的词来衡量的。漏检是指引擎因模型自信而未检查到的差异;未检查计数统计的就是这些。统计所有差异时,也包括引擎检查过、并有意保留为接近平局(两个词可能性几乎相同)的词。单独使用 2-bit 副本时,在 97.4% 的词上能选出全权重对应的词;加上校正后,统计所有差异时为 98.33%(按未检查计数为 99.17%)。该引擎与基线构建有两点不同:它也将 draft head 的专家以 2-bit 格式保存,并且将第一轮的专家缓存保留到第二轮。保留缓存提升了代码 prompt 的表现,但没有提升推理或 agent prompt 的表现(报告给出了背后的轮次计时)。在全部三次热启动代码运行中,没有任何校正推翻过某个词,因此缓存、2-bit draft head 和没有推翻这三者无法区分,7.4 是最佳情况,而非典型会话。
PROMETHEVS 引擎同时做四件事。
2-bit 副本为每个词给出答案。专家以比原始 FP4 更小的 2-bit 格式存储,因此每个词需要从磁盘读取的字节更少。这正是让机器快到足以实用的原因。
模型自身的置信度决定哪些词需要重做。对每个词,引擎查看模型前两个候选之间的差距。当差距低于阈值时(此处 gate 为 0.45),该词被标记。
被标记的词会被精确校正。存储的校正平面将专家的 2-bit 副本还原为精确的 FP4 专家,因此校正结果就是完整模型对该词的答案。
draft head 一次提出多个词。DeepSeek 随模型附带一个 draft head。引擎在并行通道中一起检查它的猜测,从而将读取专家的成本分摊到多个词上。模型最常用的专家常驻 GPU 内存;其余放在内存和两块硬盘上。
该方法就是 Ryan Flavell 设计的“先压缩、后校正”;PROMETHEVS 引擎围绕它构建。投机解码、量化 draft 和卸载式混合专家推理是它所基于的工作;报告将该方法与最接近的参考文献进行了对比。
构建机是一台 Windows 11 台式机,64 GB DDR4 内存,RTX 3060 12 GB,两块 NVMe 硬盘(2 TB 和 1 TB)。存储约需 1,009 GiB:475 GiB 原始权重加上 534 GiB 派生存储(2-bit 副本、校正平面,以及前几层的 FP4 副本)。磁盘是任何人复现此工作的最大障碍。我们让每块硬盘的使用率保持在约 90% 以下。
以上所有数字都来自一台 PC。如果你在自己的机器上运行 0.2 版,请将 python scripts\py\verify_install.py --speed 的输出和引擎日志作为基准报告发送。报告到达后会添加到这里。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。