Python-torchgpipe是GPipe的一个PyTorch中实现它针对CUDA而不是TPU进行了优化
需积分: 14 157 浏览量
2019-08-10
06:14:02
上传
评论
收藏 89KB ZIP 举报
Python-torchgpipe是GPipe的一个PyTorch中实现它针对CUDA而不是TPU进行了优化.zip （70个子文件） 
kakaobrain-torchgpipe-674a1da 
setup.py 2KB .gitignore 2KB torchgpipe_balancing __init__.py 4KB blockpartition.py 3KB utils.py 2KB py.typed 0B .travis.yml 822B CONTRIBUTING.md 2KB torchgpipe gpipe.py 17KB __init__.py 261B __version__.py 22B checkpoint.py 6KB py.typed 0B partition.py 2KB microbatch.py 2KB batchnorm.py 5KB LICENSE 11KB setup.cfg 2KB .github ISSUE_TEMPLATE bug_report.md 1KB README.ko.md 8KB examples resnet101_performance_benchmark 
requirements.txt 24B torchgpipe 16B README.md 1KB resnet 9B main.py 8KB resnet __init__.py 3KB bottleneck.py 3KB flatten_sequential.py 785B stubs torch __init__.pyi 94KB cuda __init__.pyi 2KB comm __init__.pyi 430B optim sgd.pyi 219B __init__.pyi 102B adam.pyi 257B lr_scheduler.pyi 1KB optimizer.pyi 467B utils data distributed.pyi 391B __init__.pyi 513B sampler.pyi 886B dataset.pyi 886B dataloader.pyi 2KB nn __init__.pyi 4KB modules batchnorm.pyi 691B __init__.pyi 29B backends cudnn.pyi 55B __init__.pyi 49B autograd grad_mode.pyi 707B __init__.pyi 3KB version.pyi 86B README.md 8KB tests conftest.py 181B test_gpipe.py 15KB __init__.py 164B test_microbatch.py 2KB test_checkpoint.py 2KB test_balancing.py 3KB test_deferred_batch_norm.py 5KB NOTICE 3KB docs Makefile 580B api.rst 566B index.rst 2KB conf.py 3KB _static 
not-pipe.svg 819B make.bat 787B guide.rst 13KB changelog.rst 681B benchmarks.rst 2KB img model-parallel.svg 1KB pipeline-parallel.svg 10KB gpipe.rst 4KB资源评论
