Some Tricks of PyTorch
混合精度
对不需要反向传播的操作进行管理
显存清理
梯度累加
使用 checkpoint 技术
torch.utils.checkpoint
Training Deep Nets with Sublinear Memory Cost
相关工具
参考资料
其他技巧
重现
强制确定性操作
设置随机数种子
changelog
2019年11月29日: 更新一些模型设计技巧和推理加速的内容, 补充了下apex的一个介绍链接, 另外删了tfrecord, pytorch能用么? 这个我记得是不能, 所以删掉了(表示删掉:<)
2019年11月30日: 补充MAC的含义, 补充ShuffleNetV2的论文链接
2019年12月02日: 之前说的pytorch不能用tfrecord, 今天看到https://www.zhihu.com/question/3
