nvidia新卡h100支持算力90,torch官网提供的下载torch-1.13只支持到86,torch-2.0和torch-2.1倒是支持90,但deepspeed又不支持torch2
无奈下我编译了torch-1.14,配合cuda11.8,能支持h100运行在deepspeed下训练大模型了
编译&使用环境
ubuntu:22.04
python:3.10.6
nvidia-smi: 525.105.17
cuda:11.8
deepspeed:0.9.2
cpu:inter
注意:编译此轮子时我只加入了90算力,需要其它算力支持的话请联系我