没有合适的资源?快使用搜索试试~ 我知道了~
rigl:几乎没有性能损失的稀疏深度神经网络的端到端训练
共106个文件
py:73个
gin:18个
ipynb:4个
需积分: 9 1 下载量 9 浏览量
2021-05-10
23:30:14
上传
评论
收藏 717KB ZIP 举报
温馨提示
索具彩票:使所有彩票中奖 论文: : 15分钟演示[ ] [ ] ML重现性挑战2020 计算稀疏模型的FLOP的Colabs 最佳稀疏模型 参数是浮点型的,因此每个参数都用4个字节表示。 均匀的稀疏分布使第一层保持密集,因此具有更大的尺寸和参数。 ERK适用于除99%稀疏模型之外的所有层,在稀疏模型中,我们将第一层设置为密集层,因为否则我们会观察到更差的性能。 扩展培训结果 RigL的性能随着扩展的训练迭代而显着提高。 在本节中,我们将稀疏模型的训练扩展了5倍。 请注意,稀疏模型每次训练迭代所需的FLOP少得多,因此,大多数扩展训练的成本都比基线密集训练的FLOP少。 观察性能的提高,我们想了解稀疏网络的性能在哪里饱和。 我们进行的最长训练是原始100个时代ImageNet训练的100倍训练时间。 这次训练的费用是原始密集训练FLOPS的5.8倍,而所得的99%稀疏R
资源推荐
资源详情
资源评论
收起资源包目录
rigl:几乎没有性能损失的稀疏深度神经网络的端到端训练 (106个子文件)
hessian.gin 877B
rigl.gin 840B
set.gin 839B
grasp.gin 796B
snip.gin 787B
dense.gin 687B
small_dense.gin 682B
scratch.gin 646B
small_dense.gin 610B
prune.gin 610B
lottery.gin 544B
prune.gin 537B
dense.gin 488B
rigl.gin 485B
set.gin 483B
scratch.gin 291B
lottery.gin 255B
interpolate.gin 86B
Resnet_50_Param_Flops_Counting.ipynb 27KB
MobileNet_Counting.ipynb 24KB
MnistProp.ipynb 10KB
plot_summary_json.ipynb 9KB
flops8.jpg 562KB
lottery_init.jpg 68KB
LICENSE 11KB
README.md 11KB
README.md 3KB
README.md 3KB
CONTRIBUTING.md 678B
masked_test.py 42KB
sparse_optimizers.py 39KB
imagenet_train_eval.py 34KB
resnet_model.py 29KB
masked.py 26KB
sparse_optimizers_test.py 25KB
symmetry_test.py 23KB
resnet_train_eval.py 23KB
train.py 20KB
mnist_train_eval.py 19KB
training.py 18KB
sparse_utils.py 17KB
mobilenetv2_model.py 15KB
mobilenetv1_model.py 13KB
mask_updaters.py 13KB
training_test.py 10KB
utils_test.py 10KB
str_sparsities.py 10KB
vgg.py 9KB
pruning_test.py 9KB
pruning_layers.py 8KB
utils.py 8KB
resnet_model.py 8KB
init_test.py 8KB
fixed_param.py 6KB
interpolate.py 6KB
shuffled_mask.py 6KB
random_mask.py 6KB
sparse_utils_test.py 6KB
train.py 6KB
symmetry.py 6KB
prune.py 6KB
utils.py 5KB
mnist_fc.py 5KB
dataset_base.py 5KB
mnist_cnn.py 5KB
init_utils.py 5KB
cifar10_cnn.py 4KB
metainit.py 4KB
utils.py 4KB
visualize_mask_records.py 4KB
cifar10_test.py 4KB
dataset_factory_test.py 4KB
dataset_base_test.py 4KB
data_helper_test.py 4KB
mnist_test.py 4KB
random_mask_test.py 4KB
pruning.py 4KB
data_helper.py 4KB
shuffled_mask_test.py 3KB
mnist_fc_test.py 3KB
init.py 3KB
train_test.py 3KB
cifar10.py 3KB
networks.py 3KB
cifar10_cnn_test.py 3KB
prune_test.py 2KB
mask_factory_test.py 2KB
model_factory.py 2KB
mask_factory.py 2KB
mnist.py 2KB
mnist_cnn_test.py 2KB
model_factory_test.py 2KB
dataset_factory.py 2KB
fixed_param_test.py 1KB
train_test.py 1KB
__init__.py 683B
__init__.py 678B
__init__.py 593B
__init__.py 593B
__init__.py 593B
共 106 条
- 1
- 2
资源评论
RosieLau
- 粉丝: 48
- 资源: 4582
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 带有边界框的农作物和杂草检测数据 带有 YOLO 和 Pascal 标签的芝麻作物和不同杂草的农业数据
- 练习 JavaScript 的禅宗练习.zip
- 大学生Java二级课程考试
- Nvidia GeForce GT 1030-GeForce Game Ready For Win10&Win11(Win10&Win11 GeForce GT 1030显卡驱动)
- IEC61850仿真模拟器sim860
- 纯 Python Java 解析器和工具.zip
- YOLO标记口罩数据集 (YOLO 格式注释)
- uniapp+vue3+云开发全栈开发同城配送鲜花小程序任意商城教程
- 客户需求快速小程序项目开发技巧
- java项目,课程设计-医疗服务系统.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功