没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
神经网络学习笔记
1. 深度学习基本概念
深度学习的核心是神经网络,神经网络主要是是分类和回归,分类问题是数据属于哪一
个类别的问题。比如,区分图像中的人是男性还是女性的问题就是分类问题。而回归问题是
根据某个输入预测一个(连续的)数值的问题。比如,根据一个人的图像预测这个人的体重
的问题就是回归问题。回归问题的激活函数一般采用恒等函数,分类问题采用 softmax 函
数或者 sigmoid 函数。
2. 感知器的介绍
感知器类比人脑的神经元,输入的数据类比神经元树突获得的输入,神经元的作用是对
这些冲动进行处理,然后判断是否通过轴突输出神经冲动。个人理解为,可以把感知器想象
成一个黑盒子,数据进来盒子,盒子经过一定的运算输出结果,这个结果最好是 0-1 之间
的数(连续)或者只有 0 和 1(离散)。
感知器有四类简单的感知器,AND、OR 和 NOT 感知器比较简单,跟电路里面的与或
非门的功能一样,但是实现的过程感知器是找一条线性方程来对这四种输入数据进行分类,
同时加上阶跃函数来实现二分类(只有 0 和 1)。NOR 感知器稍微复杂一点,但是可以用
前面三种感知器组合成异或感知器,首先是与感知器和非感知器运算出第一个结果,然后第
二个结果是或感知器,将这两个结果作为最后一个感知器(AND)的输入数据,最终出来
的结果就是异或的结果。
3. 感知器算法
利用分界线两区域分类出错的点的坐标做参考点,调整分界线更接近它,从而不断修正
分类函数。整个数据集中的每一个点都会把分类的结果提供给感知器(分类函数),并调整
感知器。这就是计算机在神经网络算法中,找寻最优感知器的原理。
4. 误差函数和梯度下降
对于有些问题无法用线性的界线来进行分类,可能是其他曲线,这个时候如何知道某个
值距离界线的距离有多远,我们可以借助误差函数来进行衡量。误差函数可以告诉我们当前
与正确答案之间的差别有多大。误差函数最好是连续的,可微分的。对于离散型的函数我们
可以借助 sigmoid 函数来实现从离散到连续的转化。
5. 多类别分类和 softmax 函数
在输出层添加更多的输出节点,每个节点告诉我们每个结果的概率,将结果运用
softmax 函数就可以得到每个类别的概率。
6. One-hot 编码
对于多分类问题,可以把不同类别或者不是数字形式的输入转换成数字的形式,这就用
到 one-hot 编码。比如有大象、河马和蚂蚁三类,可以编码为 100,010,001,这样就可
以方便后续的训练处理。
7. 最大似然率和交叉熵
通过激活函数的处理的结果是处于 0-1 之间的数,也就是我们所说的概率。那么我们
就可以用概率的形式来评判模型的好坏,把概率低的模型转换成概率高的模型的过程就叫最
大似然法,也叫最大化概率。但是求概率的过程中我们运用了多次乘积的方法,在计算机中
乘积的形式效率比较低,而求和的效率比较高,于是我们希望把求积转换成求和,这就需要
借助 log 函数,因为 log(a+b)=loga + logb 。
引入 log 后我们发现对概率取 log 结果是负值,因为概率是处于 0-1 之间的数,log 在
[0,1]上是小于零的,所以我们对 log 的值取负,将其转换成正数。这一系列转换后出来的
结果就是我们所说的交叉熵,也就是我们可以把最大似然率转换成最小化交叉熵的形式。
其中,交叉熵的公式:
)1()lny1()(lny-Entropy -ross2n
pymn
)(lny-Entropy -ross
i
m
1i
i
n
1i
m
1j
ij
ii
ij
ppC
pC
�����
�
�
� �
�
� �
时,特殊得,当
是预测结果的概率是实际结果,是样本数,是特征数,其中,
剩余10页未读,继续阅读
余青葭
- 粉丝: 37
- 资源: 303
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0