AI from Scratch · Phase 09 | 强化学习
🎮 Phase 09：强化学习
12 节课 · ~13 小时 · 从游戏 AI 到 LLM 对齐的核心技术
为什么这个阶段重要？
强化学习是 ChatGPT 的秘密武器——RLHF（人类反馈强化学习）让 GPT 从”续写模型”变成”对话助手”。AlphaGo、自动驾驶决策、机器人控制都依赖 RL。
本阶段从最基础的 MDP（马尔可夫决策过程）出发，到 PPO（近端策略优化）——OpenAI 用它训练了 GPT 系列的全部模型。
🔑 核心概念
1. MDP（马尔可夫决策过程）
RL 的数学语言：状态（State）、动作（Action）、奖励（Reward）、转移（Transition）。核心假设：未来只依赖当前状态（马尔可夫性）。所有 RL 算法都是在这个框架上做文章。
2. 从 Q-Learning 到 DQN
Q-Learning：维护一个表格记录”在状态 s 采取动作 a 的预期回报”。DQN：用神经网络替代表格，实现高维状态空间的泛化。关键创新：Experience Replay + Target Network 稳定训练。
3. PPO（近端策略优化）
OpenAI 的默认 RL 算法。核心思想：每次更新策略时不走太远（clip 比例），用重要性采样复用旧数据。简单、稳定、可扩展——这就是为什么它成为了 RLHF 的首选。
4. RLHF（人类反馈强化学习）
三步走：① SFT（监督微调）教模型基本能力 → ② RM（奖励模型）学习人类偏好 → ③ PPO 用 RM 的奖励信号优化模型。这是 InstructGPT/ChatGPT 的核心训练流程。
📋 完整课程列表
| # | 课程 | 预计时长 |
|---|---|---|
| 01 | MDPs, States, Actions & Rewards（MDP 基础） | ~45 min |
| 02 | Dynamic Programming（动态规划） | ~75 min |
| 03 | Monte Carlo Methods（蒙特卡洛方法） | ~75 min |
| 04 | Temporal Difference — Q-Learning, SARSA（时序差分） | ~75 min |
| 05 | Deep Q-Networks (DQN) | ~75 min |
| 06 | Policy Gradient Methods — REINFORCE（策略梯度） | ~75 min |
| 07 | Actor-Critic — A2C, A3C | ~75 min |
| 08 | Proximal Policy Optimization (PPO) | ~75 min |
| 09 | Reward Modeling & RLHF（奖励建模与 RLHF） | ~45 min |
| 10 | Multi-Agent RL（多智能体 RL） | ~45 min |
| 11 | Sim-to-Real Transfer（仿真到现实迁移） | ~45 min |
| 12 | RL for Games（游戏中的 RL） | ~75 min |
🔗 前置与后续
- 前置： Phase 03 深度学习核心
- 后续： → Phase 10 从零构建 LLM（RLHF 是 LLM 训练的关键步骤）
💡 学习建议
- 如果你的目标是 LLM： 重点学 01, 06, 08, 09（MDP → 策略梯度 → PPO → RLHF）
- 如果你对游戏/机器人感兴趣：全部都要学
- 09（RLHF）是连接 RL 和 LLM 的桥梁，理解了 ChatGPT 的训练原理
- 推荐配合 OpenAI Spinning Up 教程学习
- 实操推荐：Gym/Gymnasium 环境练手，从 CartPole 开始