TextGeneration:GPT2 bert2bert

自述文件 基于pytorch / transformers和pytorch_lightning 火车数据描述 json [ { " title " : " xxxx " , " body " : " xxxxx " }, { " title " : " xxxx " , " body " : " xxxxx " } ... ] GPT2 预训练模型：CKIP Lab GPT2-base 两种生成方法： 上下文校准 法线束搜索 微调 python train_script.py --model_type gpt2 --train_data data/covid_100000.json --max_len 300 --batch_size 4 --num_workers 15 --lr 3e-4 --gpus 1 --max_epochs 4 --save_to