有个朋友问我，要想通过大型 AI 实验室初级 AI 研究员面试，需要学些什么。我很喜欢这个问题，在整理答案的过程中，我不断碰到一些非常有意思的问题，比如下面这些：

课程涵盖现代 AI 研究者工具箱中必备的核心支柱：数学、编程、AI 训练和 GPU 编程。

每个主题都遵循一条从概念理解到动手实现的实践路径：

模块 你会构建什么 00 PyTorch 作为数值语言 Strides、广播、作为 VJP 的 autograd、稳定的 softmax、多头注意力 01 理论基础 Eckart–Young、条件数与收敛速度、从最大熵推导 softmax、手算注意力梯度 02 从零实现 用 numpy 实现 transformer，包含前向和反向传播，并让它学会一个任务；k-means++、O(n log n) AUC 03 ML 调试 在一个可运行的模型中埋入八个 bug，以及找出它们的诊断方法 04 ML 系统设计 显存预算，在模拟中验证张量并行/数据并行/流水线并行，推导 GPipe 气泡 05 推理优化 KV cache、三种粒度的量化、证明保持分布不变的投机解码 06 RAG 系统 BM25、稠密检索、nDCG、RRF 融合、IVF 索引、重排序、引用验证 07 研究与论文分析 从递推式复现 FlashAttention，并给出结构化评述 08 AI 安全与对齐 推导并测量策略梯度、逐例解读 PPO 的 clip、复现 reward hacking、推导 DPO、演示公平性不可能定理 09 CUDA 与 cuBLAS 对照 cuBLAS 的 SGEMM 阶梯、warp 归约、融合注意力 kernel 10 混合专家 复现 Mixtral 的参数量、路由坍缩及其解法、专家并行、解码惩罚 GLOSSARY.md 收集了各模块使用的记号：各种乘法、符号上的标记、范数、希腊字母和缩写。

有一个任务贯穿整个课程，在每个层级上反复出现。

缩放点积注意力出现在每一个模块中，每次从不同角度切入。到课程结束时，你会看到同样的二十行数学，以张量代码、推导、手写梯度、bug、分布式计算、延迟问题、检索系统、研究论文、对齐目标、CUDA kernel 的形式出现，最后还会看到它作为 block 中唯一不被混合专家改动的那一部分。

有两条线索特别值得追踪，因为它们各自跨四个模块闭环：

python -m venv .venv .venv/Scripts/activate # Windows；Linux/macOS 上用 source .venv/bin/activate pip install -r requirements.txt

一切都在 CPU 上运行。GPU 对模块 05 和 09 有帮助，并且是 09 中 CUDA 部分的必需条件；模块 09 的 notebook 有一大半不需要 GPU 也能做。

任何地方都不需要下载模型。模块 06 用 SVD 降维后的 TF-IDF 矩阵构建稠密检索器，并在本仓库自己的文章上做检索。

NN-module-name/ README.md 文章（约 5 页；结尾附参考文献列表） NN-module-name.pdf 排版后的文章——由 README.md 生成 exercise.py 练习，采用 percent-cell 格式（唯一事实来源） exercise.ipynb notebook，由 exercise.py 生成 solution.py 参考解答；python solution.py 会运行所有检查

根目录的 README.md 同样有对应的 README.pdf。PDF 用 python tools/build_pdfs.py 重新构建（pandoc + XeLaTeX；加 --force 可全部重建）。

模块 03 还附带 buggy_lm.py（你要修复的模型）；模块 06 附带 corpus.py；模块 09 附带 kernels/，其中包含 CUDA 源码和构建脚本。

notebook 是生成的，不要直接编辑。编辑 exercise.py，然后：

python tools/build_notebooks.py # 重建全部 python tools/build_notebooks.py 05-inference-optimization python tools/build_notebooks.py --check # 若有 notebook 过期则报错

仓库里存放的是纯 .py 文件：diff 干净、无需 kernel 即可运行，也不会积累过期的输出。

先读文章。练习以文章为前提；有些检查用的是文章里的术语，不读文章会觉得莫名其妙。

先自己尝试，再看 solution.py。每个练习都有 TODO 占位和检查框架，打印通过/失败但不会中断，因此可以循序渐进地做。解答中注释了为什么做某个选择、替代方案是什么——这部分才是在你自己的版本跑通之后值得读的。

边做边验证。在任意模块中运行 python solution.py，可以看到全套检查通过：

$ python 01-math-foundations/solution.py [ok] 3 κ=10000 -- 0.99980002 vs 0.99980002 [ok] 6b 饱和使梯度变小 -- 1.553e+00 -> 4.300e-01 ... 全部 31 项检查通过。

限定时间。面试是有时限的；不掐表练习，练的是错误的东西。大致预算：文章 30 分钟，练习 2–4 小时，讨论题 30 分钟。

如果你是在为某个具体的面试流程做准备，而不是线性地从头学到尾：

检查本身就是教学法。它们被设计成因为某个原因而失败，而不是因为容差问题：