使用DALI实现的PyTorch DataLoader可以加速图像预处理-Python开发

带有DALI的PyTorch数据加载器通过nvidia-dali实现的PyTorch数据加载器，我们已经实现了CIFAR-10和ImageNet数据加载器，将来还会添加更多的数据加载器。 借助2个Intel:registered:Xeon:registered:Gold 6154 C PyTorch DataLoader处理器和通过nvidia-dali实现的DALI PyTorch DataLoader处理器，我们已经实现了CIFAR-10和ImageNet数据加载器，将来还会增加更多的数据加载器。 借助2个Intel:registered:Xeon:registered:Gold 6154 CPU处理器，1个Tesla V100 GPU和内存磁盘中的所有数据集，我们可以使用DALI极大地加速图像预处理。 Iter培训数据成本（bs = 256）CIFAR-10 ImageNet DALI 1.4s（2个处理器）625s（8个处理器）火炬视觉280.1s（2个处理器）13400s（8个处理器）I