PyTorch_GBW_LM：10亿个字（LM1B GBW）数据集的PyTorch语言模型

PyTorch大规模语言模型 在10亿字（LM1B）/（GBW）数据集上训练的大规模PyTorch语言模型 最新结果 39.98使用LSTM语言模型和Adam Optimizer进行5次训练后的困惑 使用1个Nvidia V100 GPU（每个纪元〜5.1小时）和2048个批处理大小（ 〜10.7 GB GPU内存）在约26小时内进行了培训 以前的结果 46.47在1层，2048个单位，256个投影的LSTM语言模型上经过5个训练时期后的困惑[3] 使用1个Nvidia P100 GPU进行了为期3天的培训（每个纪元约12.5小时） 实现了和对功能 GPU硬件要求 类型 LM内存大小 显卡