AI from Scratch · Phase 01 | 数学基础

📐 Phase 01:数学基础

22 节课 · ~23 小时 · 从向量到傅里叶,AI 数学的完整地图


为什么这个阶段重要?

AI 不是魔法,是数学。神经网络的本质是矩阵乘法 + 链式求导;扩散模型的本质是随机过程 + 变分推断;Transformer 的注意力是概率分布的加权求和。

不理解数学,你只能当「调参侠」——改个 learning rate 碰运气。理解了数学,你才能读懂论文、调试梯度爆炸、设计新架构。

关键原则: 不是让你成为数学家,而是让你成为能读懂公式的工程师。


🔑 核心概念

1. 线性代数——AI 的操作系统

神经网络 = 层层矩阵乘法 + 非线性变换。核心概念:向量空间、矩阵分解(SVD/PCA 用于降维)、特征值(理解谱归一化)。如果你只能学一个数学主题,就是这个。

2. 梯度下降家族

AI 训练的本质 = 在高维空间里找最低点。SGD、Momentum、Adam 的区别就是”小球从山坡滚下来”时对惯量的处理不同。理解梯度下降,就理解了为什么训练会发散、为什么需要学习率预热。

3. 概率与贝叶斯思维

分类问题输出概率(softmax)、生成模型学习分布(KL 散度)、贝叶斯定理贯穿整个不确定性推理。信息论中的「熵」直接对应交叉熵损失——你每天用的 loss function。

4. 自动微分

PyTorch 的 autograd 和 JAX 的 grad 底层都是自动微分。理解链式法则如何被程序化,你就理解了反向传播的数学本质。


📋 完整课程列表

#课程预计时长
01Linear Algebra Intuition(线性代数直觉)~45 min
02Vectors, Matrices & Operations(向量矩阵运算)~75 min
03Matrix Transformations & Eigenvalues(矩阵变换与特征值)~75 min
04Calculus for ML — Derivatives & Gradients(ML 微积分)~45 min
05Chain Rule & Automatic Differentiation(链式法则与自动微分)~75 min
06Probability & Distributions(概率与分布)~45 min
07Bayes’ Theorem & Statistical Thinking(贝叶斯与统计思维)~75 min
08Optimization — Gradient Descent Family(梯度下降家族)~75 min
09Information Theory — Entropy, KL Divergence(信息论)~45 min
10Dimensionality Reduction — PCA, t-SNE, UMAP(降维方法)~75 min
11Singular Value Decomposition(SVD 奇异值分解)~75 min
12Tensor Operations(张量运算)~75 min
13Numerical Stability(数值稳定性)~45 min
14Norms & Distances(范数与距离)~45 min
15Statistics for ML(ML 统计)~45 min
16Sampling Methods(采样方法)~75 min
17Linear Systems(线性系统)~75 min
18Convex Optimization(凸优化)~75 min
19Complex Numbers for AI(AI 中的复数)~45 min
20The Fourier Transform(傅里叶变换)~75 min
21Graph Theory for ML(ML 图论)~45 min
22Stochastic Processes(随机过程)~45 min

🔗 前置与后续

  • 前置: Phase 00(环境配好才能写代码)
  • 后续: → Phase 02 机器学习基础(数学到位了,开始用算法)

💡 学习建议

  • 不要刷教材,这是工程师课不是数学考研。理解直觉即可,推导能跟上就 OK
  • 重点放在 01-08(线代+微积分+概率+优化),这是 80% 场景的核心
  • 09-22 是专题,用到时再回来查
  • 推荐配合 3Blue1Brown 的可视化视频理解直觉