LLM_From_Scratch

从零构建大模型 (1) · 理解大语言模型

1.理解大语言模型

从零构建大模型 (2) · 处理文本数据

2.处理文本数据

从零构建大模型 (3) · 实现注意力机制

从零构建大模型 (4) · 从零实现 GPT 模型

4.从零开始实现一个用于文本生成的 GPT 模型

从零构建大模型 (6) · 分类任务微调

6.用于分类任务的微调

从零构建大模型 (5) · 无标记数据预训练

5.在无标记数据集上进行预训练

从零构建大模型 (7) · 指令遵循微调

7.指令遵循微调

从零构建大模型 · 附录A · PyTorch 简介

附录A. PyTorch简介

从零构建大模型 · 附录B · 参考文献和扩展阅读

从零构建大模型 · 附录D · 训练循环高级技巧

附录D. 给训练循环添加高级技巧

从零构建大模型 · 附录C · 习题解答

从零构建大模型 · 附录E · LoRA 参数高效微调

附录E. 使用LoRA的参数高效微调

附录A：PyTorch 速览

张量、自动求导、Dataset/DataLoader、GPU

附录D：训练循环增强

学习率热身、余弦衰减、梯度裁剪

附录E：LoRA 参数高效微调

LoRA 原理与最小实现

第2章：文本数据处理

分词、BPE、滑窗采样、嵌入与位置编码

第1章：理解大语言模型

弄清 LLM 的范式、训练阶段与 Transformer 角色

第1章补充材料：扩展阅读与注释

来自 MLNLP-World 和 Datawhale 中文翻译项目的扩展知识点

第2章补充材料：文本数据处理扩展

来自中文翻译项目的扩展知识点：BPE深入、嵌入直觉、数据采样

第3章：注意力机制

自注意力、因果掩码、多头注意力的逐步实现

第4章：从零实现GPT模型

残差、LayerNorm、GELU、Transformer Block 拼装

第3章补充材料：注意力机制扩展

来自中文翻译项目的扩展知识点：注意力机制原理详解、多头注意力

第4章补充材料：GPT架构深度剖析

来自中文翻译项目的扩展知识点——残差连接、LayerNorm、GELU激活函数的深入理解与性能分析

第5章：在无标注数据上预训练

损失函数、训练循环、采样策略、权重加载

第5章补充材料：预训练进阶技术

来自中文翻译项目的扩展知识点——学习率调度、GPT权重加载、GPT→Llama架构转换

第7章：指令微调

指令数据格式、对齐式训练、初步评估

第6章补充材料：微调策略与IMDB分类实验

来自中文翻译项目的扩展知识点——微调策略对比、IMDB情感分类实验、模型横向评测

第6章：分类微调

替换输出头、冻结/解冻、评估垃圾邮件分类

第7章补充材料：指令微调进阶与DPO偏好优化

来自中文翻译项目的扩展知识点——DPO偏好微调、合成数据集生成、模型评估方法

从零构建大语言模型 · 中文课件

参考 rasbt/LLMs-from-scratch 章节结构，用中文重新撰写的原创教学讲义。适合有 Python 和基础深度学习经验的开发者。