PyTorchTricks:pytorch的一些技巧

Some Tricks of PyTorch 混合精度 对不需要反向传播的操作进行管理 显存清理 梯度累加 使用 checkpoint 技术 torch.utils.checkpoint Training Deep Nets with Sublinear Memory Cost 相关工具 参考资料 其他技巧 重现 强制确定性操作 设置随机数种子 changelog 2019年11月29日: 更新一些模型设计技巧和推理加速的内容, 补充了下apex的一个介绍链接, 另外删了tfrecord, pytorch能用么? 这个我记得是不能, 所以删掉了(表示删掉:<) 2019年11月30日: 补充MAC的含义, 补充ShuffleNetV2的论文链接 2019年12月02日: 之前说的pytorch不能用tfrecord, 今天看到https://www.zhihu.com/question/3