Fairscale：用于高性能和大规模培训的PyTorch扩展

描述 FairScale是PyTorch扩展库，用于在一台或多台机器/节点上进行高性能和大规模培训。 该库扩展了基本的PyTorch功能，同时添加了新的实验功能。 FairScale支持： 并行性： 管道并行性（fairscale.nn.Pipe） 分片训练： 优化程序状态分片（fairscale.optim.oss） 分片式洁牙机-自动混合精度 分片分布式数据并行 大规模优化： AdaScale SGD（从fairscale.optim导入AdaScale） 要求 PyTorch> = 1.5.1 安装 正常安装： pip install fairscale 开发方式： cd fairscale pip install -r requirements.txt pip install -e . 如果以上任何一项失败，请在pip install命令中添加--no-build