突破 64 GB 内存壁垒：在纯 CPU 上以 256K 上下文运行 284B 的 DeepSeek-V4-Flash（内存占用低于 59 GiB）与 30B MoE 模型（最高 111 tok/s），无需任何 GPU。

⚡ 快速开始 · 🧩 支持的模型 · 🖥️ 支持的芯片与平台 · 🏆 排行榜 · 📄 预印本 PDF（paper/） · 📐 架构 · ❓ 常见问题

在你已有的 CPU 工作站上实时运行前沿与 Agentic MoE 推理——100% 驻留内存，零 NVMe 交换：

TL;DR —— llama-modchip 的三大颠覆性支柱：

🐧 Linux 与 🍎 macOS（一条命令完成自动安装与对话） git clone https://github.com/synchopate/llama-modchip.git cd llama-modchip ./modchip chat

⚡ 零编译直接运行（预编译 Linux x86_64 二进制 + Hugging Face .gguf） ⚠️ 重要兼容性说明（GGML_TYPE_Q2_0 = 40）：我们的 Fractal-64 模型使用自定义的 block-64 BF16 缩放 Gray 编码张量（GGML_TYPE_Q2_0，类型 ID 40）以及自定义的 deepseek4 / Stockfish-PVS 内核。在未打补丁的 llama.cpp、Ollama 或 LM Studio 中打开它们，会因未知张量类型 40 而失败。请使用上方的 ./modchip，或使用我们独立的单文件预编译二进制（llama-server-modchip-linux-x86_64，零 .so 依赖），它直接打包在 Hugging Face 仓库和 GitHub Release v2.4.0 中：

1. 针对 30B Nemotron-3.5-A3B（14.35 GiB —— 在 16–32 GB 内存中以 25–60.4 tok/s 运行）：

hf download Synchopate/NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64-CPU-GGUF
llama-server-modchip-linux-x86_64 NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf --local-dir . chmod +x llama-server-modchip-linux-x86_64 ./llama-server-modchip-linux-x86_64 -m NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf -c 262144 -t 16 --port 8080

2. 针对 284B DeepSeek-V4-Flash（56.56 GiB —— 可装入 64 GB 内存，9.1–14.7 tok/s）：

hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4 chmod +x ./dsv4/llama-server-modchip-linux-x86_64 ./dsv4/llama-server-modchip-linux-x86_64 -m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf -c 32768 -t 16 -fa on --port 8080

🪟 Windows 10/11（一键混合 GPU + CPU MoE 包） 打开 windows/ 并双击 windows/AVVIA_MODCHIP.bat（或在 Git Bash 中运行 ./modchip start）。它会自动检测你的 CPU 核心数、空闲内存和 GPU 显存（nvidia-smi），下载官方 llama.cpp CUDA 12.4 / Vulkan 二进制，计算最优的 --n-cpu-moe 拆分方案，并打开 Web 聊天界面（http://127.0.0.1:8080）。

curl -sL https://raw.githubusercontent.com/synchopate/llama-modchip/main/scripts/check_cpu_readiness.py | python3

👉 将你的终端评分卡粘贴到 📊 一键 GitHub 基准测试 Issue 或 GitHub Discussions 中，即可加入官方社区 CPU 排行榜！

每个模型系列都有一份专门的深度优化指南，包含精确的数学证明、算子级延迟分解和质量门禁基准测试：

所有支持的处理器和 GPU 混合方案的完整微架构细节与调优参数均记录在 docs/HARDWARE_OPTIMIZATIONS.md 中：

1. 在 64 GB Zen 5 CPU（AMD Ryzen 9 9955HX，0 块 GPU）上运行 DeepSeek-V4-Flash 284B（13.17B 激活参数） 完整的算子级性能分析与数学证明见 docs/DEEPSEEK_V4_OPTIMIZATIONS.md：

完整的消融实验表格和 100/100 质量门禁报告见 docs/NEMOTRON_OPTIMIZATIONS.md：

运行 ./modchip bench（Windows 上为 windows\BENCHMARK_PC.bat），然后 ➕ 提交你的评分卡（一键 GitHub Issue）！

llama-modchip/ ├── modchip # 统一 CLI（setup | start | chat | bench | eval | quantize | web | claude | stop） ├── install.sh # 一条命令自动安装器（Linux） ├── README.md / ARCHITECTURE.md / FAQ.md # 简明概览、完整数学论文与工程常见问题 ├── RELEASE_NOTES.md # v2.4.0 发布说明 ├── docs/ │ ├── NEMOTRON_OPTIMIZATIONS.md # Nemotron-3.5-30B-A3B 与 Nemotron-H-8B 优化深度解析 │ ├── DEEPSEEK_V4_OPTIMIZATIONS.md # DeepSeek-V4-Flash 284B 性能分析、SVD 与 L2 求积 MoE 深度解析 │ └── HARDWARE_OPTIMIZATIONS.md # 逐芯片优化（Zen 5、Threadripper、Vulkan、CUDA、Metal、ARM64） ├── patches/ │ ├── deepseek-v4-flash-fractal-256k.patch # 统一的 v2.4.0 补丁（DeepSeek-V4-Flash 284B + Nemotron-3.5 30B，Linux/macOS/Windows） │ └── zen5-nemotron-256k-optimizations.patch # 针对 Nemotron-3.5 的独立 ggml/llama 核心补丁 ├── windows/ # 一键 Windows 10/11 混合 GPU+CPU MoE 包（AVVIA_MODCHIP.bat、modchip_win.ps1） ├── apple-silicon/ # Apple M4 Pro（24 GB）Metal 配置与 128K 基准测试 ├── fedora/ # Fedora 44 / AMD Ryzen 7 8745HS（GEEKOM A8）一体化脚本 ├── speculative/ # RouteCrack + Stockfish-PVS v2（rc_stockfish.h、ngram-map.cpp、96+ 项技术） ├── benchmarks/ # eval_quality_and_tools.py（100 分质量门禁）与 results/*.json ├── gateway/sse_gateway.py # Agentic SSE 代理 + 紧凑工具表 + 深色模式 Web 聊天 HUD（:8787） └── scripts/ # build_fractal_moe_gguf.sh、transcode_dsv4.{c,py}、chat.py、llama_modchip.py

🏢 企业与硬件赞助

llama-modchip 证明，现代多核 CPU 和配备 64–128 GB DDR5 内存的紧凑型 Mini-PC 可以在本地以完整的 256K 上下文运行 284B 前沿 MoE（DeepSeek-V4-Flash）和 30B 混合 MoE（Nemotron-3.5-30B-A3B）——从而消除气隙企业代码智能、安全审计和自主智能体集群对 30,000 美元以上多 GPU 硬件的需求。

我们积极与硬件制造商、云芯片团队和 AI 研究实验室合作，共同构建并验证针对特定架构的内核补丁：

📖 Nemotron 深度解析（docs/NEMOTRON_OPTIMIZATIONS.md） · 🐋 DeepSeek-V4 284B 深度解析（docs/DEEPSEEK_V4_OPTIMIZATIONS.md） · 🖥️ 硬件与芯片矩阵（docs/HARDWARE_OPTIMIZATIONS.md） · 📄 完整论文（ARCHITECTURE.md） · ❓ 常见问题（FAQ.md） · 🚀 市场发布套件（docs/marketing-launch-kit/）