17.4.25(神经网络的使用)1
需积分: 0 113 浏览量
2022-08-04
15:23:35
上传
评论
收藏 111KB PDF 举报
17.4.25(神经网络的使用)
神经网络在使用最优化高级算法进行优化时，要把所有的theta矩阵转化成一列的向量。在使用完高级算法以后，还要把theta转化回来。
具体方法如下：
当我们训练出来一个复杂的神经网络模型以后，可能会存在一些无法察觉的错误，这时候我们就可以用数值计算来进行检测。这种方法是
我们在代价函数上找几个点，求出他们的代价，然后与算法求出来的进行比较。具体方法是：对于某个特定的 θ，我们计算出在 θ-ε 处和
θ+ε 的代
价值（ε 是一个非常小的值，通常选取 0.001），然后求两个代价的平均，用以估计在 θ 处
的代价值。
参数初始化，任何一个优化算法都需要初始化参数，我们之前的初始参数都是0，在线性，逻辑，回归中是可行的，但在神经网络中，初
始化参数都为零是不也可行的。这会让你第二层求出来的激活值都一样，这种情况是错误的，同理任何一个相同的参数都不行。所以我们
要初始化随机参数。
综合神经网络的用法，在使用神经网络的时候，我们首先要做的是决定我们的神经网络算法的网格结构，就是决定我们要有多少层，每层
有多少个神经元。首先输入层的神经元个数就是我们训练集样本的特征数，输出层的神经元个数就是我们要分的类数。所以说我们要决定
的就是隐藏层的层数，和每层的神经元数，理论上来说：每层的神经元个数多点好，也就是每层的激活函数多，可能越复杂的隐藏层预测
的结果就越好。还有一点是：隐藏层数大于1时，每层的神经元个数要保持一致。下面的几步分别是：1.初始化参数
2.利用正向传播算法，算出所有的假设函数 h(theta)
3.利用公式求cost function
4.用反向传播算法求每个代价函数 J(theta) 的偏导数
5.用数值计算求偏导数和反向传播求出来的进行比较
评论0