AI from Scratch · Phase 06 | 语音与音频
🎵 Phase 06：语音与音频
17 节课 · ~18 小时 · 从声学基础到实时语音助手
为什么这个阶段重要？
语音是人与 AI 最自然的交互方式。Whisper 让 ASR（自动语音识别）基本解决，实时语音助手（GPT-4o、Moshi）正在改变人机交互范式。
本阶段覆盖了从声学基础到语音克隆、实时对话的全链路。如果你对语音助手、播客转录、音乐生成感兴趣，这是必学内容。
🔑 核心概念
1. 音频的数字表示
声音是连续的波形，计算机只能存离散采样。采样率（16kHz/44.1kHz）、位深度（16bit/32bit）、梅尔频率（Mel Scale，模拟人耳对低频更敏感的特性）。理解梅尔频谱图（Mel Spectrogram），就理解了几乎所有音频模型的输入格式。
2. Whisper 架构
OpenAI 的 Whisper 是 ASR 领域的 GPT 时刻——用 68 万小时多语言数据训练，零样本泛化到几乎所有语种。核心：音频 → 梅尔频谱 → Transformer Encoder → Transformer Decoder → 文本。
3. 神经音频编解码器
EnCodec、DAC 把原始波形压缩到离散 token（如 8kHz 音频只需 ~1500 token/s）。这是所有实时语音对话系统的基础组件——把音频变成 token，LLM 就能处理了。
4. 流式语音到语音（Speech-to-Speech）
Moshi、Hibiki 实现了真正的全双工实时对话——边听边说，无需等用户说完。核心创新：将输入和输出音频流同时建模，类似电话通话的体验。
📋 完整课程列表
| # | 课程 | 预计时长 |
|---|---|---|
| 01 | Audio Fundamentals — Waveforms, Sampling, Fourier（音频基础） | ~45 min |
| 02 | Spectrograms, Mel Scale & Audio Features（频谱图与梅尔特征） | ~45 min |
| 03 | Audio Classification（音频分类） | ~75 min |
| 04 | Speech Recognition (ASR)（语音识别） | ~45 min |
| 05 | Whisper — Architecture & Fine-Tuning | ~75 min |
| 06 | Speaker Recognition & Verification（说话人识别） | ~45 min |
| 07 | Text-to-Speech (TTS)（语音合成） | ~75 min |
| 08 | Voice Cloning & Voice Conversion（语音克隆） | ~75 min |
| 09 | Music Generation（音乐生成） | ~75 min |
| 10 | Audio-Language Models（音频语言模型） | ~45 min |
| 11 | Real-Time Audio Processing（实时音频处理） | ~75 min |
| 12 | Build a Voice Assistant Pipeline（语音助手流水线） | ~120 min |
| 13 | Neural Audio Codecs — EnCodec, SNAC, Mimi, DAC | ~60 min |
| 14 | Voice Activity Detection & Turn-Taking（VAD 与轮次检测） | ~45 min |
| 15 | Streaming Speech-to-Speech — Moshi, Hibiki | ~75 min |
| 16 | Voice Anti-Spoofing & Audio Watermarking（防伪与水印） | ~75 min |
| 17 | Audio Evaluation — WER, MOS, MMAU（音频评估指标） | ~60 min |
🔗 前置与后续
- 前置： Phase 03 深度学习 + Phase 07 Transformer（Whisper 基于 Transformer）
- 后续： → Phase 12 多模态 AI（音频-语言模型在多模态阶段深入）
💡 学习建议
- 如果你只想用 ASR：学 04-05（Whisper）就够了
- 如果做语音助手：01-02 + 04-05 + 07 + 11-12 是核心路径
- 实时对话方向（S2S）：13-15 是 2025 最前沿的内容
- 推荐工具：Whisper.cpp（本地部署）、Coqui TTS（开源 TTS）