awesome-nn-optimization:神经网络优化方法的好清单

内容 流行的优化算法 SGD 动量 RMSProp AdaGrad ADAM AdaBound ADAMAX NADAM 归一化方法 BatchNorm 体重规范 频谱范数 余弦归一化 L2正则化与批处理和权重归一化链接 为什么梯度裁剪加速训练：理论理由适应性链接 神经网络的凸性和泛化 凸神经网络[链接] 用凸神经网络打破维数的诅咒[Link] 理解深度学习需要重新思考普遍化[链接] 通过神经网络的最优控制：一种凸方法。 [关联] 输入凸神经网络[链接] 基于凸的多重神经网络结构的新概念。 [链接 SGD通过星凸路径收敛到深度学习的全球最低点[Link] 通过过度参数化链接进行深度学习的收敛理论 延续方法与课程学习 课程学习[链接] 用机器人手解决RUBIK的立方体链接 嘈杂的激活功能[链接] 缓解网络[链接] 通过转移学习进行课程学习：