AI from Scratch · Phase 05 | 自然语言处理
📝 Phase 05：自然语言处理——基础到进阶
29 节课 · ~30 小时 · 文本 AI 的完整知识体系
为什么这个阶段重要？
NLP 是 AI 最具商业价值的领域之一——搜索引擎、推荐系统、客服机器人、文档分析都依赖它。更重要的是，ChatGPT 本质上就是一个 NLP 模型。
本阶段从最基础的分词（Tokenization）出发，经过词嵌入、注意力机制，一路讲到现代的 RAG 评估和长上下文评测。理解了这条演进路线，你就理解了 LLM 为什么能工作。
🔑 核心概念
1. 词嵌入（Word Embeddings）
Word2Vec 的天才之处：用上下文预测目标词，让向量空间中出现 king - man + woman ≈ queen 的神奇线性代数关系。从离散的 one-hot 到稠密的分布式表示，是 NLP 从”查字典”走向”理解语义”的关键跳跃。
2. 注意力机制（Attention）
注意力 = 加权求和，但权重由数据自动学习。它解决了 RNN 长序列遗忘的问题，直接催生了 Transformer。理解 attention 的 Q/K/V 矩阵运算，是理解所有现代大模型的钥匙。
3. 子词分词（Subword Tokenization）
BPE（字节对编码）是几乎所有现代 LLM 的分词方案。它解决了 OOV（未登录词）问题，平衡了词表大小和序列长度。理解 BPE = 理解为什么 GPT 会”数错字符”。
4. RAG（检索增强生成）
RAG = 搜索引擎 + 生成模型。核心链路：文档分块 → 向量化 → 检索 → 拼接上下文 → 生成回答。难点在分块策略、重排序、评估指标（RAGAS）。
📋 完整课程列表
| # | 课程 | 预计时长 |
|---|---|---|
| 01 | Text Processing — Tokenization, Stemming, Lemmatization | ~45 min |
| 02 | Bag of Words, TF-IDF & Text Representation | ~75 min |
| 03 | Word Embeddings — Word2Vec from Scratch | ~75 min |
| 04 | GloVe, FastText & Subword Embeddings | ~45 min |
| 05 | Sentiment Analysis（情感分析） | ~75 min |
| 06 | Named Entity Recognition (NER)（命名实体识别） | ~75 min |
| 07 | POS Tagging & Syntactic Parsing（词性标注与句法分析） | ~45 min |
| 08 | Text Classification — CNNs & RNNs for Text | ~75 min |
| 09 | Sequence-to-Sequence Models（序列到序列模型） | ~75 min |
| 10 | Attention Mechanism — The Breakthrough（注意力机制） | ~45 min |
| 11 | Machine Translation（机器翻译） | ~75 min |
| 12 | Text Summarization（文本摘要） | ~75 min |
| 13 | Question Answering Systems（问答系统） | ~75 min |
| 14 | Information Retrieval & Search（信息检索） | ~75 min |
| 15 | Topic Modeling — LDA, BERTopic（主题建模） | ~45 min |
| 16 | Text Generation — Pre-Transformer（前 Transformer 时代） | ~45 min |
| 17 | Chatbots — Rule-Based to Neural（聊天机器人） | ~75 min |
| 18 | Multilingual NLP（多语言 NLP） | ~45 min |
| 19 | Subword Tokenization — BPE, WordPiece, SentencePiece | ~60 min |
| 20 | Structured Outputs & Constrained Decoding（结构化输出） | ~60 min |
| 21 | NLI & Textual Entailment（自然语言推理） | ~60 min |
| 22 | Embedding Models Deep Dive（嵌入模型深入） | ~60 min |
| 23 | Chunking Strategies for RAG（RAG 分块策略） | ~60 min |
| 24 | Coreference Resolution（共指消解） | ~60 min |
| 25 | Entity Linking & Disambiguation（实体链接） | ~60 min |
| 26 | Relation Extraction & Knowledge Graph（关系抽取与知识图谱） | ~60 min |
| 27 | LLM Evaluation — RAGAS, DeepEval, G-Eval | ~75 min |
| 28 | Long-Context Evaluation — NIAH, RULER, LongBench | ~60 min |
| 29 | Dialogue State Tracking（对话状态跟踪） | ~75 min |
🔗 前置与后续
- 前置： Phase 03 深度学习核心
- 后续： → Phase 07 Transformer 深度剖析 / Phase 10 从零构建 LLM
💡 学习建议
- 01-10 是核心骨架，强烈建议按顺序学
- 如果你的目标就是 LLM 应用开发：重点 03, 10, 19, 22, 23, 27
- 24-26（共指、实体链接、关系抽取）偏研究，应用开发者可略过
- 推荐配合 Hugging Face 的 NLP Course 学习