AI from Scratch · Phase 04 | 计算机视觉
👁️ Phase 04：计算机视觉
28 节课 · ~27 小时 · 从像素理解到世界模型
为什么这个阶段重要？
计算机视觉是深度学习最先突破的领域——AlexNet (2012) 改变了一切。从图像分类到目标检测、图像生成、3D 重建、视频理解，视觉 AI 已经渗透到自动驾驶、医疗影像、AR/VR 等核心产业。
本阶段覆盖了从经典 CNN 到最新 3D Gaussian Splatting 的完整演进，是目前最全面的视觉 AI 教程之一。
🔑 核心概念
1. 卷积（Convolution）的本质
卷积核就是一个小小的「特征探测器」——边缘、纹理、形状。多层堆叠后，浅层检测简单特征，深层检测复杂语义。理解卷积的计算量和参数共享机制，就理解了为什么 CNN 比全连接网络高效得多。
2. 从分类到生成
早期视觉 AI 只做分类（这是一只猫），现在做生成（创造一只不存在的猫）。GAN → Diffusion → Flow Matching 的演进路线，代表了生成模型的范式变迁。Stable Diffusion 的核心创新：在潜空间而非像素空间做扩散。
3. 视觉-语言对齐（CLIP）
CLIP 用对比学习将图像和文本映射到同一个向量空间。它是几乎所有现代视觉-语言模型（LLaVA、DALL-E）的基础组件。理解 CLIP = 理解多模态 AI 的半壁江山。
4. 3D 视觉新范式
NeRF 用神经网络隐式表示 3D 场景，3D Gaussian Splatting 用显式高斯点云。两者代表了「隐式 vs 显式」3D 表示的路线之争，AR/VR 和数字孪生的核心技术。
📋 完整课程列表
| # | 课程 | 预计时长 |
|---|---|---|
| 01 | Image Fundamentals（图像基础） | ~45 min |
| 02 | Convolutions from Scratch（从零实现卷积） | ~75 min |
| 03 | CNNs — LeNet to ResNet（CNN 演进史） | ~75 min |
| 04 | Image Classification（图像分类） | ~75 min |
| 05 | Transfer Learning & Fine-Tuning（迁移学习） | ~75 min |
| 06 | Object Detection — YOLO from Scratch（YOLO 目标检测） | ~75 min |
| 07 | Semantic Segmentation — U-Net（语义分割） | ~75 min |
| 08 | Instance Segmentation — Mask R-CNN（实例分割） | ~75 min |
| 09 | Image Generation — GANs（GAN 图像生成） | ~75 min |
| 10 | Image Generation — Diffusion Models（扩散模型） | ~75 min |
| 11 | Stable Diffusion — Architecture & Fine-Tuning | ~75 min |
| 12 | Video Understanding（视频理解） | ~45 min |
| 13 | 3D Vision — Point Clouds, NeRFs（3D 视觉） | ~45 min |
| 14 | Vision Transformers (ViT)（视觉 Transformer） | ~45 min |
| 15 | Real-Time Vision — Edge Deployment（边缘部署） | ~75 min |
| 16 | Build a Complete Vision Pipeline（完整视觉流水线） | ~120 min |
| 17 | Self-Supervised — SimCLR, DINO, MAE（自监督学习） | ~75 min |
| 18 | Open-Vocabulary — CLIP（开放词表理解） | ~45 min |
| 19 | OCR & Document Understanding（文字识别） | ~45 min |
| 20 | Image Retrieval & Metric Learning（图像检索） | ~45 min |
| 21 | Keypoint Detection & Pose Estimation（关键点与姿态） | ~45 min |
| 22 | 3D Gaussian Splatting from Scratch（3D 高斯泼溅） | ~90 min |
| 23 | Diffusion Transformers & Rectified Flow | ~75 min |
| 24 | SAM 3 & Open-Vocabulary Segmentation | ~60 min |
| 25 | Vision-Language Models (ViT-MLP-LLM) | ~75 min |
| 26 | Monocular Depth & Geometry Estimation（单目深度） | ~60 min |
| 27 | Multi-Object Tracking & Video Memory（多目标跟踪） | ~60 min |
| 28 | World Models & Video Diffusion（世界模型） | ~75 min |
🔗 前置与后续
- 前置： Phase 03 深度学习核心（需要理解 CNN 和反向传播）
- 后续： → Phase 07 Transformer 深度剖析 / Phase 08 生成式 AI / Phase 12 多模态
💡 学习建议
- 01-05 是核心，无论你做什么方向都要掌握
- 如果做生成 AI：重点 09-11 + 22-23
- 如果做多模态：重点 14 + 18 + 25
- 推荐用 PyTorch + torchvision 实操，Kaggle 上找 CIFAR/ImageNet 练手