japanese-gpt2:rinna Co.，Ltd提供的日本GPT-2生产代码

日语gpt2 该存储库提供用于训练日语GPT-2模型的代码。 此代码已被用于生产的释放 。 在自己的机器上从头训练日语GPT-2 下载培训语料库并解压缩ja.txt文件。 移动ja.txt文件或修改src/corpus/jp_cc100/config.py到的文件路径相匹配ja.txt与self.raw_data_dir在配置文件中。 通过运行以下ja.txt将ja.txt拆分为较小的文件： cd src/ python -m corpus.jp_cc100.split_to_small_files 通过运行以下命令，在4个GPU上训练中型GPT-2： CUDA_VISIBLE_DEVICES=0,1,2,3 python -m task.pretrain.train --n_gpus 4 --save_model True --enable_log True 与训练有素的模型