AI from Scratch · Phase 10 | 从零构建大语言模型
阶段概览
如果说前面的阶段是在”用”大模型，那么 Phase 10 就是带你”造”大模型。这是整个 AI from Scratch 路线图中分量最重的阶段之一——27节课、约26小时的内容，覆盖了从 Tokenizer 构建到 DeepSeek-V3 前沿架构的完整链路。
为什么这个阶段至关重要？因为真正理解 LLM 的人——不是只会调 API 的人——需要明白：文本是怎么变成数字的（Tokenizer），模型是怎么从海量数据中学习的（预训练），如何让模型按人类意图行事（对齐技术），以及如何在有限硬件上跑起来（量化与推理优化）。当你亲手实现了一个 124M 参数的 Mini GPT，你就再也不会把 LLM 当黑盒了。
核心概念解析
🔤 Tokenizer：文本与数字之间的翻译官
BPE（Byte Pair Encoding）、WordPiece、SentencePiece——这三种分词算法看似简单，却直接决定了模型的”词汇表”。BPE 从字符级别出发，反复合并最高频的字符对；WordPiece 类似但用似然增益决定合并顺序；SentencePiece 则直接在原始字节上操作，天然支持多语言。你将亲手实现一个 BPE Tokenizer，理解为什么 “tokenization” 会被拆分成 [“token”, “ization”]，以及为什么 GPT-4 的 Tokenizer 能处理 emoji、代码和中日韩文本。
🏗️ 预训练：从零到 Mini GPT 124M
这是整个阶段的高光时刻。你将搭建一个完整的 GPT 模型，参数量与 GPT-2 Small 相当。核心环节包括：构建数据管道（数据清洗 → 分词 → 打包成训练样本）、实现 Transformer 架构（Multi-Head Attention + FFN + LayerNorm + 残差连接）、编写训练循环（前向传播 → 损失计算 → 反向传播 → 优化器更新）。当你看到损失曲线下降、模型开始生成连贯文本的那一刻，你会获得一种”我真正理解了”的满足感。
⚖️ 对齐三部曲：SFT → RLHF → DPO
预训练出的模型只会”接龙”，不会”回答问题”。对齐就是教模型遵循人类意图的过程。SFT（Supervised Fine-Tuning） 用指令-回答对微调模型；RLHF（Reinforcement Learning from Human Feedback） 训练奖励模型再用 PPO 优化策略；DPO（Direct Preference Optimization） 则跳过奖励模型，直接从偏好数据中优化。你还会接触 Constitutional AI——让 AI 自我批评和修正的方法。
🚀 推理优化：让大模型跑得更快更省
INT8 量化、GPTQ、AWQ、GGUF——这些不是魔法咒语，而是让模型在消费级硬件上运行的关键技术。量化将 FP16 权重压缩到 INT8 甚至 INT4，牺牲微小精度换取数倍的推理速度提升。Speculative Decoding（推测解码）用一个小的”草稿模型”快速生成候选 token，再由大模型验证，实现无损加速。EAGLE-3 是目前最先进的推测解码方法之一。
🔮 前沿架构：DeepSeek-V3 与混合模型
课程后半段聚焦 2025-2026 年的前沿创新：Native Sparse Attention（NSA） 让注意力机制从 O(n²) 降到接近线性复杂度；Multi-Token Prediction（MTP） 一次预测多个 token 加速训练和推理；DualPipe 实现计算与通信的完美重叠；Jamba 将 SSM（状态空间模型）与 Transformer 混合，兼顾长上下文和生成质量。这些不是论文速读，而是要你理解其工程实现。
完整课程列表
| 序号 | 课程名 | 预计时长 |
|---|---|---|
| 1 | Tokenizers: BPE, WordPiece, SentencePiece | 45 min |
| 2 | Building a Tokenizer from Scratch | 60 min |
| 3 | Data Pipelines for Pre-Training | 50 min |
| 4 | Pre-Training Mini GPT 124M | 90 min |
| 5 | Scaling Distributed Training: FSDP, DeepSpeed | 75 min |
| 6 | Instruction Tuning (SFT) | 60 min |
| 7 | RLHF (Reinforcement Learning from Human Feedback) | 75 min |
| 8 | DPO (Direct Preference Optimization) | 60 min |
| 9 | Constitutional AI | 50 min |
| 10 | Evaluation Benchmarks | 45 min |
| 11 | Quantization: INT8, GPTQ, AWQ, GGUF | 70 min |
| 12 | Inference Optimization | 60 min |
| 13 | Complete LLM Pipeline | 90 min |
| 14 | Open Models Architecture | 60 min |
| 15 | Speculative Decoding: EAGLE-3 | 50 min |
| 16 | Differential Attention V2 | 45 min |
| 17 | Native Sparse Attention (DeepSeek NSA) | 60 min |
| 18 | Multi-Token Prediction (MTP) | 50 min |
| 19 | DualPipe Parallelism | 55 min |
| 20 | DeepSeek-V3 Architecture | 75 min |
| 21 | Jamba: Hybrid SSM-Transformer | 55 min |
| 22 | Async Hogwild Inference | 45 min |
| 23 | Gradient Checkpointing | 40 min |
| 24 | Open Models Architecture (Advanced) | 60 min |
| 25 | MoE Architecture Deep Dive | 70 min |
| 26 | Long-Context Training Techniques | 55 min |
| 27 | LLM Training Recap & Roadmap | 40 min |
前置依赖
- 熟练掌握 Python 和 PyTorch
- 理解 Transformer 架构（Self-Attention、Position Encoding）
- 基本的线性代数和概率论知识
- 完成 Phase 8-9（深度学习基础与 Transformer 深入）会更顺利
后续方向
- Phase 11（LLM Engineering）：学会如何在应用层使用和优化 LLM
- Phase 12（Multimodal AI）：将 LLM 扩展到视觉、音频等多模态
- Phase 17（Infrastructure）：深入推理基础设施和部署优化
- Phase 19（Capstone）：亲手实现 BPE Tokenizer、Mini GPT 等项目
学习建议
- 先跑通再深究：Mini GPT 项目先让它在小数据集上跑通，再逐步扩大规模
- 善用 Colab/Kaggle：免费 GPU 足够完成大多数练习
- 读论文搭配代码：每个主题都建议搭配原论文 + 开源实现一起看
- 重点关注 Tokenizer 和 Attention：这两个组件是理解一切的基石
- 不要跳过量化章节：即使你不做研究，量化也是工程落地必备技能
- 保持节奏：27 节课按每周 5-6 节的节奏，大约一个月可以完成