happy-llm：大语言模型学习与实践教程

摘要

1) 一句话总结 datawhalechina/happy-llm 是一个由 Datawhale 开源的免费大语言模型（LLM）系统性学习教程，旨在通过理论结合代码实战，带领学习者从零开始深入理解 LLM 原理并动手搭建、训练完整的 LLaMA2 模型。

2) 关键要点

项目热度与版本：该项目在 GitHub 上拥有 26028 个 Stars 和 2430 个 Forks，最新发布版本为 v1.0.2。
目标受众与门槛：主要面向大学生、研究人员及 LLM 爱好者，建议学习者具备 Python 编程经验、深度学习基础及 NLP 相关概念。
基础理论模块（第1-4章）：系统介绍 NLP 基础概念、Transformer 架构（含代码实现）、预训练语言模型（PLM）对比，以及大语言模型的定义、训练策略与涌现能力。
实战应用模块（第5-7章）：指导学习者基于 PyTorch 亲手搭建 LLaMA2 模型，涵盖预训练、有监督微调（SFT）、高效微调（LoRA/QLoRA）全流程，并包含 RAG（检索增强生成）和 Agent（智能体）等前沿应用。
配套模型开源：在 ModelScope 平台上开源了配套的 215M 参数量级基础模型（Base）和微调模型（SFT），并提供在线创空间体验。
学习资源提供：官方提供免费的 PDF 教程（内嵌防盗水印以防营销号倒卖）以及配套的教学讲义 PPT 课件。
社区共创机制：设立了 Extra Chapter LLM Blog 专区，鼓励开发者通过提交 PR 的形式分享优秀的 LLM 学习笔记、见解与实践经验。
项目建设进度：目前第1至5章及第7章已全部完成，第6章（大模型训练实践）及 Extra Chapter 模块仍在持续建设中（状态为🚧）。

📚 从零开始的大语言模型原理与实践教程