full_stack_transformer:Pytorch库用于端到端的变压器模型训练，推理和服务

全栈变压器 Pytorch库用于端到端的变压器模型训练，推理和服务。一系列出色的图书馆。 图书馆设计 该库的组织方式使得子包包含所有建模，数据结构和数据流类。 在子程序包中，包含所有特定于任务的代码。 可用任务： -经典的基于文档的语言模型培训。它还提供了用于交互式文本生成的应用程序服务。 文件语言模型 目前，该库中只有1个任务可用。因此，我将在README中为此示例使用一个示例。当将执行其他任务时，我将移动文档中的所有示例。 特征 自动LM数据集准备 端到端变压器LM培训 训练 用元数据（控制代码 ）训练LM 文本生成技巧（top-k，，重复罚分等） 文本生成即服务 电报bot客户端 准备数据集 首先，您需要两个包含原始文档的文本文件（训练和验证）。对于此示例，文件已放置在此处： data/documents/nietzsche/ ├── train.documents └── val