没有合适的资源?快使用搜索试试~ 我知道了~
介绍了多层感知器(MLP),从MLP到卷积神经网络(CNN)发展过程、以及CNN的预测过程、参数估计等内容。
资源推荐
资源详情
资源评论
2015/9/17 卷积神经网络全面解析
http://www.moonshile.com/post/juanjishenjingwangluoquanmianjiexi#toc_3 2/18
下采样
光栅化
多层感知器预测
CNN的参数估计
多层感知器层
光栅化层
池化层
卷积层
最后一公里:Softmax
CNN的实现
思路
其他
最近仔细学习了一下卷积神经网络(CNN,ConvolutionalNeural
Network),发现各处资料都不是很全面,经过艰苦努力终于弄清
楚了。为了以后备查,以及传播知识,决定记录下来。本文将极力
避免废话,重点聚焦在推导过程上,为打算从零开始的孩纸说清
楚“为什么”。
另外,因本人才疏学浅(是真的才疏学浅,不是谦虚),肯定会有
很多谬误,欢迎大家指出!
卷积神经网络(CNN)概述
由来:神经元网络的直接升级版
相关:YannLeCun和他的LeNet
影响:在图像、语音领域不断突破,复兴了神经元网络并进
2015/9/17 卷积神经网络全面解析
http://www.moonshile.com/post/juanjishenjingwangluoquanmianjiexi#toc_3 3/18
入“深度学习”时代
卷积神经网络沿用了普通的神经元网络即多层感知器的结构,是一
个前馈网络。以应用于图像领域的CNN为例,大体结构如图1。
很明显,这个典型的结构分为四个大层次
输入图像I。为了减小复杂度,一般使用灰度图像。当然,也
可以使用RGB彩色图像,此时输入图像有三张,分别为RGB
分量。输入图像一般需要归一化,如果使用Sigmoid激活函
数,则归一化到[0,1],如果使用tanh激活函数,则归一化到
[1,1]。
多个卷积(C)下采样(S)层。将上一层的输出与本层权重
W做卷积得到各个C层,然后下采样得到各个S层。怎么做以
及为什么,下面会具体分析。这些层的输出称为Feature
Map。
光栅化(X)。是为了与传统的多层感知器全连接。即将上一
层的所有FeatureMap的每个像素依次展开,排成一列。
传统的多层感知器(N&O)。最后的分类器一般使用
Softmax,如果是二分类,当然也可以使用LR。
接下来,就开始深入探索这个结构吧!
2015/9/17 卷积神经网络全面解析
http://www.moonshile.com/post/juanjishenjingwangluoquanmianjiexi#toc_3 4/18
从多层感知器(MLP)说起
卷积神经网络来源于普通的神经元网络。要了解个中渊源,就要先
了解神经元网络的机制以及缺点。典型的神经元网络就是多层感知
器。
摘要:本节主要内容为多层感知器(MLP,MultiLayer
Perceptron)的原理、权重更新公式的推导。熟悉这一部分的童鞋
可以直接跳过了~但是,一定一定要注意,本节难度比较大,所以
不熟悉的童鞋一定一定要认真看看!如果对推导过程没兴趣,可直
接在本节最后看结论。
感知器
感知器(Perceptron)是建立模型
其中激活函数act可以使用{sign,sigmoid,tanh}之一。
激活函数使用符号函数sign,可求解损失函数最小化问题,
通过梯度下降确定参数
激活函数使用sigmoid(或者tanh),则分类器事实上成为
LogisticRegression(个人理解,请指正),可通过梯度上升
极大化似然函数,或者梯度下降极小化损失函数,来确定参
数
如果需要多分类,则事实上成为SoftmaxRegression
感知器比较简单,资料也比较多,就不再详述。
多层感知器
感知器存在的问题是,对线性可分数据工作良好,如果设定迭代次
剩余17页未读,继续阅读
资源评论
chizi00001
- 粉丝: 1
- 资源: 6
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功