返回资讯中心
外部精选
软件工程
#社区热议

开发者用约190行纯JAX代码复现DeepSeek V3架构并在MacBook Air上完成预训练

来源标题:Show HN: DeepSeek V3 in ~200 lines of pure Jax

一位开发者用约190行纯JAX代码实现了DeepSeek V3的架构,不含Flax、Equinox或PyTorch,并在MacBook Air上从零预训练,训练数据为公有领域的侦探小说。模型包含MLA、解耦RoPE、DeepSeekMoE、无辅助损失均衡和多token预测等组件,参数以普通数组字典形式存储。

Hacker NewsVaibhaavTiwari2026/11/14 · 3 天前19 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

DeepSeek-V3 技术报告中的架构,用 190 行纯 JAX 实现,在一台 MacBook Air 上从零预训练,语料是公有领域的侦探小说。 没有 Flax,没有 Equinox,没有 PyTorch。参数就是普通的数组字典,模型的每个部分都是你可以从头读到尾的函数,全在 deepseek_v3.py 里。 阅读详细文章:DeepSeek V3 in 190 lines of pure JAX,内含示意图、逐段代码讲解和结果。 思路来自论文 功能 位置 Multi-head Latent Attention (MLA) 每个 token 只缓存一个小 latent,而不是完整的 key 和 value:这里每层每个 token 从 480 个数降到 144 个数 mla, init_cache Decoupled RoPE 一个所有头共享的旋转 key,放在压缩 latent 之外 rope, apply_rope, mla DeepSeekMoE 1 个始终运行的共享专家 + 16 个路由专家,每个 token 取 top-4 route, moe 无辅助损失负载均衡 每个专家一个 bias,把路由推向空闲专家;它改变的是选中哪些专家,不改变专家权重 update_bias, route 序列级均衡损失 论文中的那个小型补充损失(α = 1e-4) seq_balance_loss 多 token 预测(MTP) 一个额外模块同时预测下下个 token,损失中权重 λ = 0.3 forward, loss_fn 训练与生成 bf16 计算,f32 主权重;用 MLA 缓存做 prefill + decode make_train_step, generate 结果 在 MacBook Air M5(24 GB)上跑一次默认配置: 开启和关闭负载均衡时,第 2000 步的验证损失相同(3.921 对 3.923)。bias 把专家负载拉平,却没有带来任何代价,这正是论文的主张。 它自己的输出,提示词为 "The fog came in off the": The fog came in off the bay, and the great trees were spreading and the stars were shining. 这是一个架构演示,不是一个强大的语言模型。哪些有效、哪些无效、还缺什么,详见详细文章。 v1.0 发布版包含已发布那次运行的确切 checkpoint 和数据。安装后(第 1 步): mkdir -p data runs/main curl -L -o runs/main/ckpt.pkl https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/ckpt.pkl # 138 MB curl -L -o data/tokenizer.json https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/tokenizer.json .venv/bin/python sample.py --prompt "The fog came in off the" --num 3 checkpoint 是 Python pickle,加载时可能执行代码。只加载你信任来源的 checkpoint。 你需要一台 Apple Silicon Mac、Python 3.12 和 uv。已发布的那次运行用了 24 GB 内存。没有 Mac?见 Running on CPU。 git clone https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax.git && cd deepseek-v3-jax uv venv -p 3.12 .venv uv pip install --python .venv/bin/python -r requirements.txt requirements.txt 中每个版本都固定了。jax-metal 0.1.1 只能配 jax==0.4.34,所以不要升级 JAX。 JAX_PLATFORMS=cpu .venv/bin/pytest tests.py -q # 39 passed .venv/bin/python smoke_metal.py # 可选:看看你的 Mac 上 jax-metal 支持什么 在 smoke_metal.py 中,"grad through 2-axis contraction" 在 jax-metal 0.1.1 上会失败。这是预期内的,模型编写时已避开它。 .venv/bin/python prepare_data.py 这会下载 sources.txt 中的 207 本书(约 120 MB,约 7 分钟),清洗文本,训练一个 8,192 token 的 BPE tokenizer,并写出 data/train.bin、data/val.bin 和 data/tokenizer.json。它应该打印: train: 211 docs, 83.4M chars, 21.69M tokens val: 4 docs, 1.1M chars, 0.30M tokens 已发布那次运行的数据有以下哈希: shasum -a 256 data/train.bin data/val.bin data/tokenizer.json d37aca97e707bb81b6e4d266cc1adfd1f3e3556457c6eb724e495118a734e0bb data/train.bin b7ac285b115e6793b5d36aa5b4bc6e81a5fccfc7af0908a306d3828ebca9c31c data/val.bin c5a142b4006a967c880dda44ad792719d53c16d947da3b6c2332d6132d9967cc data/tokenizer.json 你很可能得到不同的哈希。Hammett 的书固定到 Standard Ebooks 的确切 commit,结果完全一致,但 Project Gutenberg 的文件无法固定,而且 Gutenberg 后来重新发布了 203 本书中的 28 本,做了小幅修改(大多是去掉重音符号,比如 "José" → "Jose")。token 数结果相同,所以训练行为应该一致。 要在完全相同的字节上训练,跳过 prepare_data.py,改为下载已发布的数据: mkdir -p data for f in train.bin val.bin tokenizer.json; do curl -L -o data/$f https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/$f; done shasum -a 256 data/*.bin data/tokenizer.json # 应匹配上面的哈希 4. 训练 .venv/bin/python train.py # 主运行:12k 步,约 2.6 小时 .venv/bin/python train.py --steps 2000 --out runs/bias_on # 负载均衡消融,带 bias .venv/bin/python train.py --steps 2000 --out runs/bias_off --no-bias # ……不带 bias 每次运行都会把 metrics.jsonl(损失、验证损失、每专家负载、bias、tokens/s)和 ckpt.pkl(每次评估时保存)写入其 --out 文件夹,默认是 runs/main。种子是固定的,但 Metal 上的 GPU 计算不是逐位确定的,所以你的数值应该接近上面那些,而不是完全一致。 .venv/bin/python sample.py --prompt "The fog came in off the" --num 3 默认值:temperature 0.8,top-k 50,每个样本 300 个新 token(--temp、--top-k、--n)。 .venv/bin/python plots.py # 需要 runs/main、runs/bias_on、runs/bias_off JAX_PLATFORMS=cpu .venv/bin/python charts.py # 详细文章中其余的图表 两者都写入 post/figures/。 要在不训练的情况下重绘图表,从发布页下载日志:把 metrics-main.jsonl、metrics-bias_on.jsonl 和 metrics-bias_off.jsonl 分别以 metrics.jsonl 的名字放入 runs/main/、runs/bias_on/ 和 runs/bias_off/。charts.py 还需要 checkpoint 和数据。 一切都可以在没有 jax-metal 的情况下运行。速度慢得多,所以用较小的配置: JAX_PLATFORMS=cpu .venv/bin/python train.py --config small --config small(4 层、8 个专家、top-2、128 token 上下文)也适用于 8–16 GB 的 Mac。它只验证了几步,没有训练到结束。 文件 说明 deepseek_v3.py

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →