手推BP算法及python实现

画图和编辑公式实在是太麻烦了，我就写在纸上吧 一、BP推导 一个简单的神经网络： 正向传播： 1.输入层—->隐含层： 这里我们要把得到的值通过sigmoid激活一下： 2.隐含层—->输出层：同理 这样我们就得到了输出值out(o1)和out(o2)，此时这两个输出值和我们预想的输出值肯定相差甚远（可以自己设定几个数试一试）那么我们就要进行反向传播来修正w以此来修正输出值。 反向传播： 1.我们所期望的数据和输出数据的误差： 2.隐含层—->输出层的权值更新： 以w5为例，我们想知道w5对整体误差产生了多少影响 那么我们再拆分看每一项： 我们现在更新W5（lr是学习率）：