返回资讯中心
外部精选
软件工程
#开发者实时流

开发者用约200行纯JAX代码复现DeepSeek V3架构

来源标题:Show HN: DeepSeek V3 in ~200 lines of pure Jax

开发者仅用190行纯JAX代码实现了DeepSeek-V3的架构,未依赖Flax、Equinox或PyTorch。该实现包含MLA、DeepSeekMoE、无辅助损失均衡和MTP等核心组件,并在MacBook Air上从零预训练于公有领域侦探小说数据。

Hacker News 最新VaibhaavTiwari2026/11/14 · 3 天前19 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

用约200行纯JAX实现了DeepSeek-V3技术报告中的架构,在一台MacBook Air上从零开始预训练,训练数据是公有领域的侦探小说。没有用Flax,没有用Equinox,也没有用PyTorch。参数就是普通的数组字典,模型的每个部分都是可以自上而下读完的函数,全在deepseek_v3.py里。

详细文章见:DeepSeek V3 in 190 lines of pure JAX,里面有示意图、逐段讲解的代码,以及结果。

论文中的思路 功能 位置 多头潜在注意力(MLA) 每个token只缓存一个小型潜在向量,而不是完整的key和value:在这里每层每个token从480个数字降到144个 mla、init_cache 解耦RoPE 一个所有头共享的旋转key,放在压缩潜在向量之外 rope、apply_rope、mla DeepSeekMoE 1个始终运行的共享专家 + 16个路由专家,每个token取top-4 route、moe 无辅助损失负载均衡 每个专家有一个偏置,把路由往空闲专家那边推;它改变的是选中哪些专家,而不是专家的权重 update_bias、route 序列级均衡损失 论文中那个小的补充损失(α = 1e-4) seq_balance_loss 多token预测(MTP) 一个额外模块还预测下下个token,在损失中权重λ = 0.3 forward、loss_fn 训练与生成 bf16计算,f32主权重;用MLA缓存做prefill + decode make_train_step、generate 结果 在MacBook Air M5(24 GB)上跑一次默认配置: 开启和关闭负载均衡两种情况下,第2000步的验证损失相同(3.921 vs 3.923)。偏置把专家负载拉平了,却没有带来任何代价,这正是论文所声称的。 模型自己的输出,提示词为“The fog came in off the”: The fog came in off the bay, and the great trees were spreading and the stars were shining. 这是一个架构演示,不是一个强的语言模型。哪些有效、哪些无效、还缺什么,见详细文章。 v1.0发布版包含已发布那次运行的精确checkpoint和数据。安装之后(第1步): mkdir -p data runs/main curl -L -o runs/main/ckpt.pkl https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/ckpt.pkl # 138 MB curl -L -o data/tokenizer.json https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/tokenizer.json .venv/bin/python sample.py --prompt "The fog came in off the" --num 3 这个checkpoint是Python pickle格式,加载时可能执行代码。只加载你信任来源的checkpoint。 你需要一台Apple Silicon Mac、Python 3.12和uv。已发布的那次运行用了24 GB内存。没有Mac?见在CPU上运行。 git clone https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax.git && cd deepseek-v3-jax uv venv -p 3.12 .venv uv pip install --python .venv/bin/python -r requirements.txt requirements.txt里每个版本都固定了。jax-metal 0.1.1只能配jax==0.4.34,所以不要升级JAX。 JAX_PLATFORMS=cpu .venv/bin/pytest tests.py -q # 39 passed .venv/bin/python smoke_metal.py # 可选:看看jax-metal在你的Mac上支持什么 在smoke_metal.py里,“grad through 2-axis contraction”在jax-metal 0.1.1上会失败。这是预期内的,模型写的时候就避开了它。 .venv/bin/python prepare_data.py 这会下载sources.txt里的207本书(约120 MB,约7分钟),清洗它们,训练一个8,192 token的BPE分词器,并写出data/train.bin、data/val.bin和data/tokenizer.json。它应该打印: train: 211 docs, 83.4M chars, 21.69M tokens val: 4 docs, 1.1M chars, 0.30M tokens 已发布那次运行的数据有以下哈希: shasum -a 256 data/train.bin data/val.bin data/tokenizer.json d37aca97e707bb81b6e4d266cc1adfd1f3e3556457c6eb724e495118a734e0bb data/train.bin b7ac285b115e6793b5d36aa5b4bc6e81a5fccfc7af0908a306d3828ebca9c31c data/val.bin c5a142b4006a967c880dda44ad792719d53c16d947da3b6c2332d6132d9967cc data/tokenizer.json 你多半会得到不同的哈希。Hammett的书固定到了Standard Ebooks的精确commit,结果完全一致,但Project Gutenberg的文件没法固定,而Gutenberg后来重新发布了203本书中的28本,做了些小改动(大多是去掉重音符号,比如“José” → “Jose”)。token数结果相同,所以训练表现应该一样。 如果想在完全相同的字节上训练,跳过prepare_data.py,直接下载已发布的数据: mkdir -p data for f in train.bin val.bin tokenizer.json; do curl -L -o data/$f https://github.com/Vaibhaav-Tiwari/deepseek-v3-jax/releases/download/v1.0/$f; done shasum -a 256 data/*.bin data/tokenizer.json # 应该与上面的哈希一致 4. 训练 .venv/bin/python train.py # 主运行:12k步,约2.6小时 .venv/bin/python train.py --steps 2000 --out runs/bias_on # 均衡消融,带偏置 .venv/bin/python train.py --steps 2000 --out runs/bias_off --no-bias # ……以及不带偏置 每次运行都会把metrics.jsonl(损失、验证损失、各专家负载、偏置、tokens/s)和ckpt.pkl(每次评估时保存)写入它的--out文件夹,默认是runs/main。随机种子是固定的,但Metal上的GPU计算不是逐位确定的,所以你的数字应该接近上面的结果,而不是完全一致。 .venv/bin/python sample.py --prompt "The fog came in off the" --num 3 默认值:temperature 0.8,top-k 50,每个样本300个新token(--temp、--top-k、--n)。 .venv/bin/python plots.py # 需要runs/main、runs/bias_on、runs/bias_off JAX_PLATFORMS=cpu .venv/bin/python charts.py # 详细文章中的其余图表 两者都写入post/figures/。 如果想不训练就重绘图表,从发布版下载日志:把metrics-main.jsonl、metrics-bias_on.jsonl和metrics-bias_off.jsonl分别以metrics.jsonl为名放入runs/main/、runs/bias_on/和runs/bias_off/。charts.py还需要checkpoint和数据。 一切都可以在没有jax-metal的情况下运行。速度慢得多,所以用更小的配置: JAX_PLATFORMS=cpu .venv/bin/python train.py --config small --config small(4层、8个专家、top-2、128 token上下文)也适用于8–16 GB的Mac。它只跑过几步验证,没有训练到底。 文件 说明 deepseek_v3.py

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →