【神经网络】{6} ——反向传播（学习笔记）
44 浏览量
2021-01-20
12:03:57
上传
评论
收藏 373KB PDF 举报
【神经网络】【神经网络】{6} ——反向传播（学习笔记）反向传播（学习笔记）
此处开始讲解一个算法来尝试优化神经网络结构的代价函数优化神经网络结构的代价函数。
这是一个让代价函数最小化的算法让代价函数最小化的算法——反向传播算法。
首先来看一下神经网络的代价函数：首先来看一下神经网络的代价函数：
要做的就是设法找到参数θ，使得使得J(θ)取到最小值取到最小值，为了使用梯度下降法或者其他某种高级优化算法，需要做的就是写一段代
码，这段代码获得输入参数获得输入参数θ，并计算，并计算J(θ)和这些偏导项和这些偏导项：
神经网络里对应的参数Θ_ij^(l)∈R（都是实数）。
为了计算代价函数为了计算代价函数J(θ)，用下面这个公式：，用下面这个公式：
我们大部分时间要重点关注如何计算这些偏导项我们大部分时间要重点关注如何计算这些偏导项：
我们从只有一个训练样本的情况开始说起，假设整个训练集只包含一个训练样本，也就是实数对，把这一个训练样本记为(x,
y)，先粗略看一下，使用这一个训练样本来计算的顺序：
首先我们应用前向传播法：首先我们应用前向传播法：
以此来计算一下在给定输入的时候，假设函数是否会真的输出结果。以此来计算一下在给定输入的时候，假设函数是否会真的输出结果。
具体地说，这里的a^(1)就是第一层的激活值（所谓激活值是指由一个具体神经元计算并输出的值），也就是输入层在的地
方，所以假设它为x，然后来计算
然后计算
评论0
最新资源