gradient_descent_viz:逐步演示和超参数调整UI的5种常用梯度下降方法的交互式可视化

梯度下降可视化 Gradient Descent Viz是一款桌面应用程序，它可视化了机器学习中一些流行的，包括（香草）梯度下降，动量，AdaGrad，RMSProp和Adam。 我的希望是，通过尝试不同的设置，任何人（无论是初学者还是专家）都可以对这些方法有新的直观理解。 在此处阅读，其中详细说明了这些方法。 特征 在一些不同的表面之间选择。 例如，在下面的屏幕记录中，您可以看到Adam和RMSProp处理鞍点比简单的梯度下降或动量要好得多。 调整参数。 该演示显示了一个具有平稳状态的表面（右键单击并拖动以旋转，箭头键进行导航，而Ctrl（或cmd）+加号/减号进行缩放）。 学习率低的动量法不足以推动它通过平坦区域。 提高学习率可以解决此问题。 也可以使用其他参数，然后看看您发现了什么。 观看分步动画，以直观地了解每种方法的计算过程。 以下是动量下降的内部工作原理演示。 使用视觉元