AI from Scratch · Phase 02 | 机器学习基础

📊 Phase 02:机器学习基础

18 节课 · ~21 小时 · 深度学习之前,先把经典 ML 搞透


为什么这个阶段重要?

深度学习不是万能的。在表格数据、小样本场景、可解释性要求高的业务中,XGBoost 和随机森林依然是首选。更重要的是,理解 ML 基础概念(偏差-方差、过拟合、特征工程)是理解深度学习的前提。

一个秘密: 很多所谓的”AI 工程师”连交叉验证都搞不清楚。把这个阶段学扎实,你就超过了大多数人。


🔑 核心概念

1. 偏差-方差权衡(Bias-Variance Tradeoff)

模型太简单 → 欠拟合(高偏差);太复杂 → 过拟合(高方差)。理解这条曲线,就理解了为什么需要正则化、为什么需要 Dropout、为什么需要更多数据。

2. 特征工程

“Garbage in, garbage out” 的核心环节。在传统 ML 中,特征决定了天花板,算法只是逼近这个天花板。掌握编码(one-hot/target encoding)、缩放(standard/min-max)、特征交叉。

3. 模型评估方法论

准确率不够用——不平衡数据要看 F1/AUC,排名问题要看 NDCG。更关键的是交叉验证的正确姿势:分层采样、时序数据的 walk-forward、分组数据的 GroupKFold。

4. 集成学习

“三个臭皮匠顶个诸葛亮”。Bagging(随机森林)降方差,Boosting(XGBoost/LightGBM)降偏差,Stacking 组合不同模型。Kaggle 冠军的标配。


📋 完整课程列表

#课程预计时长
01What Is Machine Learning — Types & Taxonomy(ML 类型与分类)~45 min
02Linear Regression from Scratch(从零实现线性回归)~75 min
03Logistic Regression & Classification(逻辑回归与分类)~75 min
04Decision Trees & Random Forests(决策树与随机森林)~75 min
05Support Vector Machines(支持向量机)~75 min
06K-Nearest Neighbors & Distance Metrics(KNN 与距离度量)~75 min
07Unsupervised Learning — K-Means, DBSCAN(无监督聚类)~75 min
08Feature Engineering & Selection(特征工程与选择)~75 min
09Model Evaluation — Metrics, Cross-Validation(模型评估)~75 min
10Bias, Variance & the Learning Curve(偏差方差与学习曲线)~45 min
11Ensemble Methods — Boosting, Bagging, Stacking(集成方法)~75 min
12Hyperparameter Tuning & AutoML(超参调优)~75 min
13ML Pipelines & Experiment Tracking(ML 流水线)~75 min
14Naive Bayes — Multinomial, Gaussian, Bernoulli(朴素贝叶斯)~75 min
15Time Series Fundamentals(时间序列基础)~45 min
16Anomaly Detection(异常检测)~75 min
17Handling Imbalanced Data(不平衡数据处理)~75 min
18Feature Selection(特征选择)~75 min

🔗 前置与后续

  • 前置: Phase 01(数学基础,尤其是概率和优化)
  • 后续: → Phase 03 深度学习核心(从传统 ML 进入神经网络)

💡 学习建议

  • 每个算法都从零实现一次,然后用 scikit-learn 对照
  • 在 Kaggle 上找 1-2 个表格比赛练手(Titanic → House Prices)
  • 重点掌握:线性/逻辑回归、随机森林、XGBoost、交叉验证
  • 不要在 SVM 上花太多时间(工业界几乎不用了)