Resources

pytroch

动手学深度学习

童哥指定NLP学习路线

• [x] 如何自己从零实现一个神经网络?

• [x] 史上最详细循环神经网络讲解（RNN/LSTM/GRU）

• [x] 完全图解RNN、RNN变体、Seq2Seq、Attention机制

• [x] 从零开始实现循环神经网络（无框架）

• [x] 损失函数（Loss Function）

• [x] 从0开始词嵌入（Word embedding）

• [x] 自然语言处理中N-Gram模型介绍

• [x] 秒懂词向量Word2vec的本质

• [x] ResNet论文逐段精读

• [x] Transformer论文逐段精读

• [x] BERT 论文逐段精读

• [x] [GPT文章解析](https://medium.com/@sntaus/understanding-self-attention-gpt-models-80ec894eebf0)

VLLM

• [x] VLLM论文

• [ ] VLLM官方文档

• [x] 大模型推理框架 vLLM 源码解析（一）：框架概览

• [x] 大模型推理框架 vLLM 源码解析（二）：Block 模块分配和管理

• [x] VLLM推理流程梳理（一）

• [x] [VLLM推理流程梳理（二）](https://zhuanlan.zhihu.com/p/649977422)

transformer

• [x] 李沐Transformer论文逐段精读

• [ ] Pytorch Transformers from Scratch (Attention is all you need)

• [ ] 对应源码

PEFT

• [ ] LLM从0到1之PEFT

Mamba

to be continue

DeepSpeed-流水线系列

• [ ] deepspeed入门教程
• [ ] LLM（十二）：DeepSpeed Inference 在 LLM 推理上的优化探究
• [ ] DeepSpeed 流水线实战
• [ ] DeepSpeed Pineline文档1
• [ ] [DeepSpeed Pineline文档2](https://deepspeed.readthedocs.io/en/latest/pipeline.html)

ML-system入坑指南

• [ ] Prof Yang You 的 HPC-AI lab中的学生给出的ML System入坑指南

图解大模型训练系列

• [x] 图解大模型训练之：流水线并行（Pipeline Parallelism），以Gpipe为例

• [x] 猛猿：图解大模型训练之：数据并行上篇(DP, DDP与ZeRO)

• [x] 猛猿：图解大模型训练之：数据并行下篇(ZeRO，零冗余优化)

• [ ] 猛猿：图解大模型系列之：张量模型并行，Megatron-LM

• [ ] 猛猿：图解大模型系列之：Megatron源码解读1，分布式环境初始化

• [ ] 猛猿：图解大模型训练之：Megatron源码解读2，模型并行

分布式训练技术分享系列

• [ ] 聊聊PyTorch的ZeroRedundancyOptimizer优化器

• [ ] 聊聊 PyTorch2.0 中新的Distributed API

• [ ] 聊聊 Hugging face 模型 + LoRA 低秩矩阵分解的使用

• [ ] 聊聊序列并行Sequence parallelism

• [ ] 聊聊 Zero Bubble Pipeline Parallelism

• [ ] 聊聊 PyTorch 中新的Distributed API （二）

• [ ] 聊聊字节 AML 万卡工作 MegaScale: Scaling Large Language Model Training to More Than 10,000 GPUs

大模型分布式训练并行技术

• [ ] 大模型分布式训练并行技术（一）-概述

• [ ] 大模型分布式训练并行技术（二）-数据并行

• [ ] 大模型分布式训练并行技术（三）-流水线并行

• [ ] 大模型分布式训练并行技术（四）-张量并行

• [ ] 大模型分布式训练并行技术（五）-序列并行

• [ ] 大模型分布式训练并行技术（六）-多维混合并行

• [ ] 大模型分布式训练并行技术（七）-自动并行

• [ ] 大模型分布式训练并行技术（八）-MOE并行

• [ ] 大模型分布式训练并行技术（九）-总结

《从零实现BERT、GPT及Diffusion类算法》系列

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 1：文章简介及目录

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 2：Tokenizer

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 3：Multi-head Attention & Transformer

• [ ] 《从零实现BERT、GPT及Diffusion类算法》-4：Bert & GPT1/2/3

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 5：Greedy Search, Beam Search, Penalty, Sampling

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 6：模型训练MiniBloomChat: Bloom+SFT

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 7：分布式训练原理及混合精度、DDP、DeepSpeed、Megatron-LM使用

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 8：训练优化1-自动混合精度训练amp

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 8：优化训练2-分布式数据并行训练DistributedDataParallel

• [ ] 《从零实现BERT、GPT及Diffusion类算法》- 8：优化训练3-流水线并行训练GPipe

BBuf 的CUDA笔记系列

• [ ] github
• [ ] 【BBuf 的CUDA笔记】一，解析OneFlow Element-Wise 算子实现
• [ ] 【BBuf的CUDA笔记】二，解析 OneFlow BatchNorm 相关算子实现
• [ ] 【BBuf的CUDA笔记】三，reduce优化入门学习笔记
• [ ] 【BBuf的CUDA笔记】四，介绍三个高效实用的CUDA算法实现（OneFlow ElementWise模板，FastAtomicAdd模板，OneFlow UpsampleNearest2d模板）
• [ ] 【BBuf的CUDA笔记】五，解读 PyTorch index_add 操作涉及的优化技术
• [ ] 【BBuf的CUDA笔记】六，总结 FasterTransformer Encoder(BERT) 的cuda相关优化技巧
• [ ] 【BBuf的CUDA笔记】七，总结 FasterTransformer Decoder(GPT) 的cuda相关优化技巧
• [ ] 【BBuf的CUDA笔记】八，对比学习OneFlow 和 FasterTransformer 的 Softmax Cuda实现
• [ ] 【BBuf的CUDA笔记】九，使用newbing（chatgpt）解析oneflow softmax相关的fuse优化
• [ ] 【BBuf的CUDA笔记】十，Linear Attention的cuda kernel实现解析
• [ ] 【BBuf的cuda学习笔记十】Megatron-LM的gradient_accumulation_fusion优化
• [ ] 【BBuf的CUDA笔记】十一，Linear Attention的cuda kernel实现补档
• [ ] 【BBuf的CUDA笔记】十二，LayerNorm/RMSNorm的重计算实现
• [ ] 【BBuf的CUDA笔记】十三，OpenAI Triton 入门笔记一
• [ ] 【BBuf的CUDA笔记】十四，OpenAI Triton入门笔记二
• [ ] 【BBuf的CUDA笔记】十五，OpenAI Triton入门笔记三 FusedAttention

有意思的系列

• [ ] **优雅玩转实验室服务器（七）优雅地使用ssh或者http访问内网服务器——frp内网穿透教程**

CUDA

• [ ] CUDA C++ Best Practices Guide
• [ ] CUDA C++ Programming Guide
• [ ] Optimizing Matrix Transpose in CUDA

升学

• [ ] Home - Open CS Application

• [ ] Transformer性能分析理论基础