minGPT-TF:OpenAI GPT（生成式预训练变压器）培训的最小Tensorflow重新实现

minGPT-TF TensorFlow重新实现 笔记本电脑 在play_char.ipynb训练过的play_math.ipynb和play_char.ipynb 。位于每个笔记本的顶部，用于在colab上训练模型。 play_char.ipynb笔记本batch_size大小以适合可容纳GPU内存。 根据GPU内存更改参数。 自述文件 PyTorch重新实施培训。 minGPT试图做到小巧，整洁，可解释且具有教育意义，因为大多数当前可用的工具都有些庞大。 GPT不是一个复杂的模型，该实现大约包含300行代码，包括样板代码和一个完全不必要的自定义因果自我注意模块。 无论如何，所有的事情就是将一个索引序列放入一个转换器块序列中，并得出下一个索引的概率分布。 其余的复杂性只是通过批处理（跨示例和整个序列长度）而变得很聪明，因此培训是有效的。 minGPT的核心“库”（hah）是两个文件