datawhalechina/llms-from-scratch-cn

📚 从零开始构建大模型

Implement a ChatGPT-like LLM in PyTorch from scratch, step by step

《Build a Large Language Model (From Scratch)》是一本深入探讨大语言模型原理与实现的电子书，适合希望深入了解 GPT 等大模型架构、训练过程及应用开发的学习者。为了让更多中文读者能够接触到这本极具价值的教材，我决定将其翻译成中文，并通过 GitHub 进行开源共享。

从无名小卒到大模型（LLM）大英雄~ 欢迎关注后续！！！

中文翻译的 Hands-On-Large-Language-Models (hands-on-llms)，动手学习大模型

Build a modern LLM from scratch. Every line commented. Explained like we are five.

Covers pre-training data, Tokenizer, Transformer, MoE,distributed training, Scaling Laws, inference & alignment .6 progressive code assignments for full-stack LLM learning | 涵盖预训练数据、分词器、Transformer、MoE、分布式训练、缩放定律、推理与对齐，6 项渐进代码作业，掌握 LLM 全栈知识