AI from Scratch · Phase 19 | 毕业项目：从零构建完整 AI 系统
阶段概览
Phase 19 是整个 AI from Scratch 路线图的终极考验——87个项目、约620小时的实战编码。这不是看视频、做选择题那种”项目”，而是从一行行代码开始，亲手实现 AI 系统的每一个组件。
为什么需要这么大的工作量？因为”看懂”和”会做”之间有巨大的鸿沟。你可能理解了 Attention 的数学原理，但直到你亲手实现 Multi-Head Attention 并调试出一个精确的梯度反向传播，你才算真正”拥有”这个知识。这就是为什么这个阶段被称为”Capstone”——它是所有前面阶段知识的综合应用和验证。
87个项目分为 9 个系列，每个系列聚焦一个核心领域，从底层组件到完整系统层层递进。你可以按顺序做，也可以根据自己的兴趣和职业方向选择重点系列。但无论选哪个——准备好大量时间编码。
核心概念解析
🧱 LLM 核心系列：从 BPE 到 GPT
这是整个 Capstone 的基础（项目 30-41）。你将从零实现：
- BPE Tokenizer：在原始文本上实现 Byte Pair Encoding 算法，处理所有 Unicode 字符
- Tokenized Dataset：构建高效的训练数据管线
- Embeddings：实现 Token Embedding 和 Positional Encoding
- Multi-Head Attention：最关键的组件——亲手实现 QKV 变换、Scaled Dot-Product Attention、多头拼接、因果掩码
- Transformer Block：组装 Attention + FFN + LayerNorm + Residual Connection
- GPT 模型：堆叠 Transformer Block，加上 LM Head
- 训练循环：前向传播 → 损失计算 → 反向传播 → 梯度裁剪 → 优化器更新
- 加载预训练权重：从 HuggingFace 加载 GPT-2 权重到你的模型中
- 微调三部曲：分类微调 → SFT → DPO
完成这个系列后，你将拥有一个完整的、自己实现的 Mini GPT——这不是玩具，它可以在真实文本上生成连贯的内容。
💻 Coding Agent 系列：构建能编程的 AI
这是规模最大的系列（项目 1-10, 20-29）。你将构建：
- 终端编程代理：能在终端中读写文件、运行命令、编写代码的 Agent——本质上是一个简化版 Claude Code
- RAG 代码搜索：用 Embedding + 向量检索实现”语义化 grep”
- 语音助手：结合 ASR + LLM + TTS 的实时语音编程助手
- 多模态文档 QA：输入技术文档截图，AI 理解图表并回答问题
- DevOps 排障 Agent：读取日志、分析错误、提出修复方案的运维 Agent
- 多 Agent 软件团队：PM Agent + Developer Agent + Reviewer Agent 协作完成软件项目
🔬 研究自动化系列：AI 做科研
项目 50-57 探索一个激动人心的方向——用 AI 自动化科研流程：
- 假设生成器：基于已有文献自动提出研究假设
- 文献检索：自动搜索、下载、总结相关论文
- 实验运行器：根据实验设计自动运行实验（代码层面）
- 结果评估器：统计分析实验结果，判断显著性
- 论文写作器：将实验结果整理成论文格式
- 批评循环：AI 审稿人自动审查并给出修改建议
- 端到端 Demo：串联以上所有组件的完整研究流水线
🖼️ 多模态与 RAG 系列
多模态系列（项目 58-63）从 Vision Encoder 开始，逐步构建 ViT → Projection Layer → Cross-Attention → 视觉语言预训练 → 多模态评估。这条线完美对应 Phase 12 的理论学习。
RAG 系列（项目 64-69）深入实战：分块策略（固定长度 vs 语义分块）→ 混合检索（BM25 + Dense Vector）→ Cross-Encoder 重排 → 查询重写（HyDE）→ RAG 评估（Ragas 等框架）→ 端到端 RAG 系统。
🔒 安全与分布式训练系列
安全系列（项目 82-87）：越狱分类器（区分正常和越狱请求）→ 注入检测器（检测 Prompt Injection）→ 拒绝评估（评估模型拒绝不当请求的能力）→ 内容分类器（多类别安全分类）→ 宪法规则引擎（基于规则的 AI 行为约束）→ 端到端安全门（整合所有安全组件的流水线）。
分布式训练系列（项目 76-81）：集合通信（实现 AllReduce、AllGather）→ DDP（Distributed Data Parallel）→ ZeRO 分片 → 流水线并行 → 检查点恢复 → 端到端分布式训练。
完整项目系列列表
🏗️ 大型项目（项目 1-17，每个 25-40 小时）
| 序号 | 项目名 | 预计时长 |
|---|---|---|
| 1 | 终端编程代理 (Terminal Coding Agent) | 30-40h |
| 2 | RAG 代码搜索 (Code Search Engine) | 25-30h |
| 3 | 实时语音助手 (Real-time Voice Assistant) | 25-35h |
| 4 | 多模态文档 QA (Multimodal Document QA) | 25-30h |
| 5 | 自主研究代理 (Autonomous Research Agent) | 30-40h |
| 6 | DevOps 排障 Agent (DevOps Troubleshooter) | 25-30h |
| 7 | 端到端微调流水线 (Fine-Tuning Pipeline) | 30-35h |
| 8 | 生产 RAG 聊天机器人 (Production RAG Chatbot) | 25-35h |
| 9 | 代码迁移 Agent (Code Migration Agent) | 30-40h |
| 10 | 多 Agent 软件团队 (Multi-Agent Software Team) | 35-40h |
| 11 | LLM 可观测性仪表盘 (LLM Observability Dashboard) | 25-30h |
| 12 | 视频理解流水线 (Video Understanding Pipeline) | 30-35h |
| 13 | MCP 服务器 (MCP Server) | 25-30h |
| 14 | 推测解码推理服务器 (Speculative Decoding Server) | 30-35h |
| 15 | 宪法安全测试 (Constitutional Safety Testing) | 25-30h |
| 16 | GitHub Issue → PR 代理 (Auto PR Agent) | 30-40h |
| 17 | 个人 AI 导师 (Personal AI Tutor) | 35-40h |
💻 Coding Agent & Agent Harness（项目 1-10, 20-29）
| 系列 | 内容 | 总时长 |
|---|---|---|
| Coding Agent 核心 (1-10) | 终端代理、RAG搜索、语音助手、文档QA、研究代理、DevOps排障、微调流水线、RAG聊天机器人、代码迁移、多Agent团队 | ~280h |
| Agent Harness (20-29) | Agent Harness 架构、指令系统、记忆持久化、初始化脚本、范围契约、反馈循环、验证门、Reviewer Agent、多会话交接、真实仓库实战 | ~100h |
🧱 LLM 核心（项目 30-41）
| 序号 | 项目名 | 预计时长 |
|---|---|---|
| 30 | BPE Tokenizer | 4-6h |
| 31 | Tokenized Dataset | 3-5h |
| 32 | Embeddings | 3-4h |
| 33 | Multi-Head Attention | 6-8h |
| 34 | Transformer Block | 4-6h |
| 35 | GPT 组装 | 4-6h |
| 36 | 训练循环 | 6-8h |
| 37 | 加载预训练权重 | 3-4h |
| 38 | 分类微调 | 4-6h |
| 39 | 指令微调 (SFT) | 5-7h |
| 40 | DPO | 5-7h |
| 41 | 评估流水线 | 4-6h |
🔬 研究自动化（项目 50-57）
| 序号 | 项目名 | 预计时长 |
|---|---|---|
| 50 | 假设生成器 | 6-8h |
| 51 | 文献检索 | 5-7h |
| 52 | 实验运行器 | 6-8h |
| 53 | 结果评估器 | 4-6h |
| 54 | 论文写作器 | 6-8h |
| 55 | 批评循环 | 4-6h |
| 56 | 迭代调度器 | 4-5h |
| 57 | 端到端研究 Demo | 8-10h |
🎨 多模态（项目 58-63）、RAG（项目 64-69）、评估（项目 70-75）、分布式（项目 76-81）、安全（项目 82-87）
| 系列 | 核心项目 | 总时长 |
|---|---|---|
| 多模态 (58-63) | Vision Encoder → ViT → Projection Layer → Cross-Attention → 视觉语言预训练 → 多模态评估 | ~35h |
| RAG (64-69) | 分块策略 → 混合检索 → Cross-Encoder 重排 → 查询重写 → RAG 评估 → 端到端 RAG | ~35h |
| 评估 (70-75) | 任务规范 → 经典指标 → 代码执行指标 → 困惑度校准 → 排行榜聚合 → 端到端评估 | ~30h |
| 分布式 (76-81) | 集合通信 → DDP → ZeRO 分片 → 流水线并行 → 检查点恢复 → 端到端分布式 | ~40h |
| 安全 (82-87) | 越狱分类 → 注入检测器 → 拒绝评估 → 内容分类器 → 宪法规则引擎 → 端到端安全门 | ~35h |
前置依赖
- Phase 10-18 全部完成（或至少完成了与你选择的项目系列相关的阶段）
- 扎实的 Python 和 PyTorch 编程能力
- Git 版本控制
- 足够的时间：620 小时约等于 3-4 个月全职工作
后续方向
完成 Capstone 后，你已经具备了：
- 从零实现 LLM 的完整能力——这在求职市场上极为稀缺
- 多 Agent 系统的实战经验——2026年最热门的技术方向
- AI 安全的工程实践——大多数开发者完全不了解的领域
- 分布式训练和推理的实操——大型 AI 团队的核心需求
建议方向：
- 开源贡献：将你的项目发布到 GitHub，参与开源 AI 项目
- 深入研究：选择一个方向（如对齐、多模态、Agent）深入到论文级别
- 创业或求职：你的作品集已经超过 95% 的 AI 工程师候选人
学习建议
- 不要试图做完所有 87 个项目——620 小时太长了。选择 3-4 个系列深入
- 推荐优先级：LLM 核心 > Coding Agent > RAG > 安全 > 分布式 > 其他
- 每个项目都要写 README：记录你的设计决策、遇到的坑、学到的教训
- 用 Git 管理：每个项目一个分支或仓库，做好提交记录——这是你的作品集
- 找学习伙伴：Code Review 和结对编程能大幅提升学习效果
- 关注质量而非数量：一个做到极致的项目比十个半成品有价值得多
- 开源你的成果：即使你觉得”不够好”，对其他学习者也很有价值
- 大型项目（1-17）是改变游戏规则的：如果能完成 2-3 个 30-40 小时的大型项目，你的能力将质的飞跃
- 制定时间表：建议 4-6 个月完成，每周 25-30 小时，将 87 个项目分解为每周里程碑