前馈_反向传播_梯度下降1
需积分: 0 181 浏览量
2022-08-03
11:42:16
上传
评论
收藏 1.33MB PDF 举报
前馈前馈 _反向传播反向传播 _梯度下降梯度下降 .md to 前馈前馈 _反向传播反向传播 _梯度下降梯度下降 .pdf by
MARKDOWN-THEMEABLE-PDF
Page 1/6 © Copyright Thursday, Nov 15, 2018, 4:08 PM by COMPANYNAME
前馈
假设只有一个隐藏层，我们在计算中会需要两个步骤。第一个是计算隐藏状态的数值，第二个是计算输出值。 请注意，隐藏层和输出层都显示为向量，因为它
们都是多个单一神经元表示的。 将输入向量乘以权重矩阵W1，可以计算得到隐藏层的向量h，再通过激活函数
我们找到h'后，需要一个激活函数(Φ)来完成隐藏层数值的计算。这个激活函数可以是双曲正切、Sigmoid或ReLU函数。我们可以使用以下两个方程式来表示最终
隐藏层的向量 ：
由于Wij表示权重矩阵中的权重部分，连接输入中的神经元 ii 和隐藏层的神经元 jj，我们也可以按照以下方式书写计算：(请注意，在这个例子中，我们有 nn 个输
入，只有3个隐藏的神经元)
评论0