BYOL:使用DistributedDataParallel引导您自己的潜在（BYOL）pytorch实现

BYOL-火炬 在使用DistributedDataParallel（1GPU：1Process）实现BYOL。 这样就可以扩展到任何批量大小。 例如，使用64 gpu时可能会产生4096个批处理大小，在FP32中每个批处理大小为64，分辨率为224x224x3（请参阅下面的FP16支持）。 用法单个GPU NOTE0 ：这不会产生SOTA结果，但是对于调试非常有用。 作者对SOTA使用4096+的批处理大小。 注意1 ：设置你的github ssh令牌； 如果您从git clone获得身份验证问题，则很可能是这样。 > git clone --recursive git+ssh://git@github.com/jramapuram/BYOL.git # DATADIR is the location of imagenet or anything that works with i