垂直管道

VPipe 该存储库正在积极更新和合并我们的开发分支。 README正在同时更新。 建立 对于多节点，请确保已安装驱动程序以实现最佳通信性能。 实验 伯特 设置环境 下载并预处理数据集。 BERT预训练使用以下数据集： 维基百科 BookCorpus 要下载，验证，提取数据集并以.hdf5格式创建碎片，请运行： 下载 python3 /workspace/bert/data/bertPrep.py --action download --dataset bookscorpus python3 /workspace/bert/data/bertPrep.py --action download --dataset wikicorpus_en python3 /workspace/bert/data/bertPrep.py --action download --dataset go