AI from Scratch · Phase 03 | 深度学习核心
🧠 Phase 03：深度学习核心
13 节课 · ~15 小时 · 这是整个课程的心脏
为什么这个阶段重要？
所有现代 AI——CNN、Transformer、扩散模型、LLM——底层都是同一个东西：多层神经网络 + 反向传播 + 梯度下降。把这个阶段搞透，后面所有架构都只是「不同组装方式」。
本阶段的终极目标： 用 NumPy 从零写一个 mini 深度学习框架。不是闹着玩——当你自己实现了 autograd，你才算真正理解了 PyTorch。
🔑 核心概念
1. 反向传播（Backpropagation）
反向传播 = 链式法则的工业化应用。前向传播算输出，反向传播算梯度。核心难点：理解计算图（computational graph）和梯度如何在每一层传递。一旦你手写过一次，loss.backward() 就再也不是黑盒了。
2. 激活函数的选择
ReLU 为什么取代了 Sigmoid？因为梯度消失。GELU 为什么在 Transformer 中流行？因为平滑+近似线性。理解激活函数对梯度流的影响，就理解了一个关键调参维度。
3. 优化器进化史
SGD → Momentum → AdaGrad → RMSProp → Adam → AdamW。每个优化器都在解决前一个的问题：Momentum 加速收敛，Adam 自适应学习率，AdamW 修正权重衰减。大多数情况下，无脑用 AdamW 就对了。
4. 正则化全家桶
Dropout 随机失活神经元、BatchNorm 强制归一化分布、Weight Decay 限制权重大小。三者经常组合使用，理解它们的交互效应是训练大模型的关键。
📋 完整课程列表
| # | 课程 | 预计时长 |
|---|---|---|
| 01 | The Perceptron — Where It All Started（感知机） | ~45 min |
| 02 | Multi-Layer Networks & Forward Pass（多层网络与前向传播） | ~75 min |
| 03 | Backpropagation from Scratch（从零实现反向传播） | ~75 min |
| 04 | Activation Functions — ReLU, Sigmoid, GELU & Why（激活函数） | ~45 min |
| 05 | Loss Functions — MSE, Cross-Entropy, Contrastive（损失函数） | ~45 min |
| 06 | Optimizers — SGD, Momentum, Adam, AdamW（优化器） | ~75 min |
| 07 | Regularization — Dropout, Weight Decay, BatchNorm（正则化） | ~75 min |
| 08 | Weight Initialization & Training Stability（初始化与稳定性） | ~45 min |
| 09 | Learning Rate Schedules & Warmup（学习率调度） | ~45 min |
| 10 | Build Your Own Mini Framework（构建迷你框架） | ~120 min |
| 11 | Introduction to PyTorch（PyTorch 入门） | ~75 min |
| 12 | Introduction to JAX（JAX 入门） | ~75 min |
| 13 | Debugging Neural Networks（调试神经网络） | ~75 min |
🔗 前置与后续
- 前置： Phase 01 数学（尤其是链式法则、矩阵运算）+ Phase 02 ML 基础
- 后续： → Phase 04 计算机视觉 / Phase 07 Transformer（核心 DL 知识到位了，选方向深入）
💡 学习建议
- 第 03 和第 10 节是最重要的——从零写反向传播 + 迷你框架
- 推荐配合 Andrej Karpathy 的「Let’s build GPT」视频
- PyTorch 是主线工具，JAX 了解即可（除非你做研究）
- 调试神经网络的技巧（梯度直方图、过拟合单个 batch）非常实用，不要跳过