22，Transformer XL 之 MemoryTransformerLM 完整源码实现及调试
23，Transformer XL 之 PartialLearnableMultiHeadAttention 源码实现及调试
24，Transformer XL 之 PartialLearnableDecoderLayer 源码实现及调试
25，Transformer XL 之 AdaptiveEmbedding 源码实现及调试
26，Transformer XL 之相对位置编码 PositionalEncoding 源码实现及调试
27，Transformer XL 之 Adaptive Softmax 解析及源码完整实现
28，Transformer XL 之 Training 完整源码实现及调试
29，Transformer XL 之 Memory 更新、读取、维护揭秘
30，Transformer XL 之 Unit 单元测试
31，Transformer XL 案例调试及可视化
第 4 章: Autoregressive Language Models 之 GPT-1、2、3 解析及 GPT 源码实现
1，Task-aware 的人工智能 Language model + Pre-training + Fine-tuning 时代
2，Decoder-Only Stack 数学原理及架构解析
3，训练材料标注：neutral、contradiction、entailment、multi-label、QA 等
4，NLP(Natural Language Understanding)：Semantic similarity、document
classification、textual entailment 等
5，大规模 Unsupervised pre-training 贝叶斯数学原理及架构剖析
6，Task-specific Supervised fine-tuning 的 Softmax 及 Loss 详解
7，针对 Classification、Entailment、Similarity、Mutiple Choice 特定任务的 Input 数据预
处理解析及矩阵纬度变化处理
8，GPT2 架构解析：Language Models for unsupervised multitask learners
9，GPT 2 把 Layer Norm 前置的数据原理剖析
10，GPT 2 Self-Attention 剖析
11，GPT 2 Training 数据流动全生命周期解析
12，GPT 2 Inference 数据流动全生命周期解析
13，GPT 3 架构剖析：Language Models are Few-Shot Learners
14，由 GPT 3 引发的 NLP12 大规律总结
15，GPT 数据预处理源码完整实现及调试
16，GPT 的 BPE 实现源码及调试
17，GPT 的 TextEncoder 源码实现及调试
18，GPT 的 Attention 完整源码实现及调试
19，GPT 的 Layer Normalization 完整源码实现及调试
20，GPT 的 Feed Foward 神经网络通过 Convolutions 源码实现
21，GPT 的 Block 源码完整实现及调试
22，GPT 的 TransformerModel 源码完整实现及调试
23，GPT 的输入 LMHead 源码完整实现及调试
24，GPT 的 MultipleChoiceHead 源码完整实现及调试
25，GPT 的语言模型及特定 Task 的 DoubleHeadModel 源码完整实现
26，GPT 的 OpenAIAdam 优化器源码及调试
27，GPT 的 LanguageModel loss 源码及调试
28，GPT 的 MultipleChoiceLoss 源码及调试
29，OpenAI GPT 的 Pretrained Model 的加载使用
