autograd-for-dummies:面向机器学习学生的最小 autograd 引擎和神经网络库

autograd-for-dummy 从头开始编写的最小的 autograd 引擎和神经网络库。 受到 Andrej Karpathy 的极大启发，但在此过程中有很多解释数学、概念等的评论。 Autograd 引擎 autograd.engine模块实现了一个标量值的 autograd 引擎，它以 DAG（有向无环图）的形式跟踪值、它们的梯度和执行的操作（以及产生的新值）。 在这个 DAG 中，叶子是输入值，根是计算图的输出。 通过从根到叶跟踪这个图，您可以使用计算每个节点的梯度。 这称为反向传播，或更正式地称为反向。 计算图示例 创建一个Scalar 。 a = Scalar ( 1.5 ) 做一些计算。 b = Scalar ( - 4.0 ) c = a ** 3 / 5 d = c + ( b ** 2 ). relu () 通过计算梯度。 d . back