AI from Scratch · Phase 08 | 生成式 AI
🎨 Phase 08：生成式 AI
15 节课 · ~14 小时 · 从自动编码器到可控图像生成
为什么这个阶段重要？
生成式 AI 是 2022 年以来最大的技术浪潮。Midjourney、Stable Diffusion、Sora 都是生成模型的产物。理解生成模型的设计空间，你就理解了为什么扩散模型击败了 GAN，以及下一代架构可能走向何方。
🔑 核心概念
1. 生成模型的三大流派
- VAE（变分自编码器）： 学习数据的概率分布，生成平滑但模糊的样本
- GAN（生成对抗网络）： 生成器 vs 判别器的博弈，生成锐利但难训练
- Diffusion（扩散模型）： 前向加噪 + 反向去噪，目前质量最好但速度慢
演进逻辑：可训练性 + 生成质量的权衡。
2. 扩散模型原理
训练：给图片逐步加高斯噪声，学习预测噪声。生成：从纯噪声开始，逐步去噪恢复图片。Latent Diffusion（Stable Diffusion）的关键创新：在压缩的潜空间而非像素空间做扩散，计算量减少 64 倍。
3. ControlNet 与 LoRA
ControlNet：给扩散模型加条件控制（姿态、边缘、深度），实现精准构图。LoRA：低秩适配，只训练少量参数就能改变风格。两者结合 = 可控 + 个性化的图像生成工作流。
4. Flow Matching
扩散模型的数学推广。不再限于高斯噪声，可以用任意概率路径。训练更稳定、采样更快，是 Stable Diffusion 3 和 FLUX 的核心。
📋 完整课程列表
| # | 课程 | 预计时长 |
|---|---|---|
| 01 | Generative Models — Taxonomy & History（生成模型分类与历史） | ~45 min |
| 02 | Autoencoders & VAE（自动编码器与 VAE） | ~75 min |
| 03 | GANs — Generator vs Discriminator | ~75 min |
| 04 | Conditional GANs & Pix2Pix（条件 GAN） | ~75 min |
| 05 | StyleGAN | ~45 min |
| 06 | Diffusion Models — DDPM from Scratch（从零写 DDPM） | ~75 min |
| 07 | Latent Diffusion & Stable Diffusion | ~75 min |
| 08 | ControlNet, LoRA & Image Conditioning | ~75 min |
| 09 | Inpainting, Outpainting & Image Editing（图像编辑） | ~75 min |
| 10 | Video Generation（视频生成） | ~45 min |
| 11 | Audio Generation（音频生成） | ~45 min |
| 12 | 3D Generation（3D 生成） | ~45 min |
| 13 | Flow Matching & Rectified Flows | ~45 min |
| 14 | Evaluation — FID, CLIP Score, Human Preference | ~45 min |
| 15 | Visual Autoregressive Modeling (VAR)（视觉自回归） | ~90 min |
🔗 前置与后续
- 前置： Phase 03 深度学习 + Phase 04 计算机视觉（至少 CNN 基础）
- 后续： → Phase 12 多模态 AI（图文混合生成模型）
💡 学习建议
- 02-03 理解 VAE 和 GAN 的设计思想，不要纠结数学推导
- 06-08 是重点，扩散模型 + Stable Diffusion + ControlNet/LoRA 是当前主流
- 13（Flow Matching）是 2025 前沿，理解了就理解了 SD3/FLUX
- 实操推荐：用 Diffusers 库跑通 SD 推理，再尝试 LoRA 微调