开源项目发布 AI 系统设计入门指南，聚焦大模型系统设计

状态：首次发布，2026 年 11 月。每一节都依据一手资料进行了研究，并由作者审阅，CI 会检查每一次变更：链接、结构、图表，以及每个实验都可运行。少数无法对照一手资料确认的说法，连同使用它们的章节，列在 PLAN.md 中。欢迎评审和指正；请附上来源。

了解如何设计基于大语言模型的系统：各种权衡、组件，以及行业内已经趋同的模式，还有那些仍在演进中的模式。

了解如何设计能在生产环境中站得住脚的 AI 系统。

为 AI 系统设计对话做好准备。

基于模型进行构建如今是一项核心工程技能，而这一领域发展迅速。关于它的多数文章要么是产品发布公告，要么是框架教程，要么是某个团队的经验之谈。本入门指南则是对各家提供商和研究者已经趋同的内容所做的系统化整理，每一种权衡都明确命名，每一个数字都标注日期和来源。

它模仿 Donne Martin 的 System Design Primer：同样遵循方法、权衡、组件、已解设计和参考数字的脉络，但针对的是核心组件具有概率性、按 token 计价、且易受提示注入攻击的系统。

了解如何设计 AI 系统。每个主题都是一页短文，十分钟即可读完，配有图表、适用场景、不适用场景及其缺点。每个主题的深度剖析则包含提供商调研、数字、风险控制和云平台映射。

为 AI 系统设计对话做好准备，无论是面试还是设计评审。可通过方法、已解设计和练习题来逐步掌握。

每一页都以问答闪卡结尾。可用以下任一命令构建卡组（仅需标准库）：

python3 scripts/primer.py anki # 生成 build/ai-system-design-primer.apkg：双击即可导入 python3 scripts/primer.py flashcards # 生成 build/flashcards.tsv：纯文本，供 Anki 的 File > Import 使用

这个包按部分各有一个子卡组。重新导入较新的构建会就地更新答案，并保留你的复习记录；措辞有改动的问题会作为新卡片出现。卡片按章节和成熟度打标签，因此你可以只学某一部分，或在 maturity::frontier 卡片过时后将其暂停。

大多数主题都配有一个小型可运行的实验：一个模拟或计算，仅使用 numpy 或标准库，运行前先写下预测，若预测有误则如实注明。

欢迎提交 pull request 来修正错误、改进章节和增加新章节。阅读 STYLE.md 了解章节如何研究和撰写（学习者优先、每个主题涉及多家提供商、每个说法都有来源），阅读 CONTRIBUTING.md 了解具体操作流程。关于本入门指南本身的决策记录在 adr/ 中。尚待完成的工作见 ROADMAP.md。

AI 系统设计主题的摘要，包括优缺点。一切皆是权衡。每一节都链接到其深度剖析。成熟度标记为 S（稳定核心）、S/F（概念稳定，具体细节易变）或 F（前沿，预计会有重写）。

根据你的时间安排建议复习的主题。

如何应对 AI 系统设计问题，无论是面试还是设计评审。经典的四步，但有两处改动：质量门槛放在最前，因为基于模型的功能只在部分时候是正确的；加固自成一个步骤，因为提示注入、数据泄露和失控的 agent 是设计约束，而非附加项。完整演练及示例：如何应对 AI 系统设计问题。

常见 AI 系统设计问题，附示例讨论、数字和图表。更多练习：额外的设计问题。

每位 AI 工程师都应知道的数字：token、速度、成本比率、内存、检索和评估数据，每一项都标注日期和来源。

云平台映射：每项能力在 Azure、AWS、Google Cloud、OpenAI、Anthropic 和开源方案上的对应。

模式对照：同一模式在各提供商和作者笔下的名称。

治理对照：OWASP LLM 与 Agentic Top 10、FINOS、EU AI Act，映射到本入门指南的章节。

真实架构：工程实录和独立研究。

术语表和变更日志。

本入门指南与原始版本以及博客文章的不同之处

权衡优先。每种模式都说明它改变了哪项权衡以及朝哪个方向改变。

质量门槛优先。评估是方法的一部分，而非事后补充。

成熟度有标注和日期。每页都带有 last_verified 和 review_by；检查器会在评审逾期时报错。前沿页面每三个月评审一次。

每个主题涉及多家提供商。Anthropic、OpenAI、Google、AWS 和 Microsoft，以及各自使用的名称。

厂商中立的行文。产品名称只出现在深度剖析和云平台映射中。

每个主题都有风险和控制，以及审计人员会要求的证据。

可运行的实验，运行前记录预测。

进展 阶段 章节数 计划 草稿 评审 已发布 0 6 0 0 0 6 1 12 0 0 2 10 2 10 0 0 2 8 3 11 0 0 1 10 4 5 0 0 2 3

后续计划见 ROADMAP.md，构建计划和验证欠账（仍在等待一手来源的说法）见 PLAN.md。

Donne Martin 的 System Design Primer，本指南沿用了其结构。

每一节引用的提供商指南、论文和工程实录；见真实架构。

联系信息

请提交 issue 讨论错误、缺失主题或新的已解设计。安全问题，或可能使系统变得不安全的指导，请按照 SECURITY.md 所述私下报告。

参与行为受 Code of Conduct 约束。

内容（页面、图表、闪卡、实验 README）依据 Creative Commons Attribution 4.0 International (CC BY 4.0) 许可，与原始 System Design Primer 采用相同许可。

所有图表和图形均为本仓库原创，受内容许可覆盖。

代码（scripts/、实验脚本和 CI 工作流）依据 MIT License 许可。

贡献按相同条款接受。理由见 ADR 0008。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）