
开发者用纯 C 在 8GB 内存的 CPU 上跑起 2.78 万亿参数 Kimi K3
来源标题:Kimi-k3-in-C: A 2.78T-parameter model. No GPU. 8 GB of RAM
开发者发布 kimi-k3-in-c 项目,在单颗 CPU、仅 8.24 GB 内存条件下完成 2.78 万亿参数 Kimi K3 的推理,无需 GPU。该项目用可移植 C99 编写,不依赖 BLAS、深度学习框架和 GPU,依靠 MXFP4 量化、MoE 和线性注意力等技术实现。仓库发布后已获约 9.8k star、1.6k fork。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个 2.78 万亿参数的 Kimi K3,在单颗 CPU、8.24 GB 内存上跑推理。可移植 C99:不依赖 BLAS,不用框架,不用 GPU。
medium.com/@fareedkhandev/building-kimi-k3-in-c-to-run-a-2-8t-model-on-consumer-hardware-a5792cbf3b59
话题标签 avx2、c99、cpu-inference、deep-learning、from-scratch、inference-engine、kimi-k3、linear-attention、llm、llm-inference、machine-learning、memory-efficient、mixture-of-experts、moe、mxfp4、quantization、simd、systems-programming、transformer、zero-dependencies
资源 Readme Apache-2.0 许可证 贡献指南 贡献指南 安全策略 安全策略 动态 Star 9.8k 个 Star 关注 86 人关注 Fork 1.6k 个 Fork 举报仓库 main 分支标签 转到文件 代码打开更多操作菜单 最新提交 历史 98 次提交 98 次提交 文件夹和文件 名称名称最近提交信息 最近提交日期 .github .github benchmarks benchmarks cmake cmake docs docs examples examples include/k3 include/k3 scripts scripts src src tests tests third_party third_party tools tools .clang-format .clang-format .editorconfig .editorconfig .gitattributes .gitattributes .gitignore .gitignore CHANGELOG.md CHANGELOG.md CMakeLists.txt CMakeLists.txt CONTRIBUTING.md CONTRIBUTING.md CONTRIBUTORS.md CONTRIBUTORS.md LICENSE LICENSE Makefile Makefile NOTICE NOTICE README.md README.md SECURITY.md SECURITY.md pyproject.toml pyproject.toml ruff.toml ruff.toml 查看所有文件 仓库文件导航 README 贡献指南 Apache-2.0 许可证 安全 更多条目 加载中 关于 一个 2.78 万亿参数的 Kimi K3,在单颗 CPU、8.24 GB 内存上跑推理。可移植 C99:不依赖 BLAS,不用框架,不用 GPU。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。