没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
学习笔记:Caffe 上 LeNet 模型理解
分类: Machine Learning2015-03-05 17:23 377 人阅读 评论(1) 收藏 举报
Caffe 中用的模型结构是著名的手写体识别模型 LeNet-5
(http://yann.lecun.com/exdb/lenet/a35.html)。当年美国大多数银行就是用它来识别支票
上面的手写数字的。能够达到这种商用的地步,它的准确性可想而知,唯一的区别是把其
中的 sigmoid 激活函数换成了 ReLU。
为什么换成 ReLU,上一篇 blog 中找到了一些相关讨论,可以参考。
CNN 的发展,关键就在于,通过卷积(convolution
http://deeplearning.stanford.edu/wiki/index.php/Feature_extraction_using_convolution)
和降采样(pooling http://deeplearning.stanford.edu/wiki/index.php/Pooling )能够成功的
减少需要训练的参数值,回头去看 SparseAutoEncoder 更会有明显的感觉。
具体需要训练多少个参数,http://blog.csdn.net/zouxy09/article/details/8781543 有做一个
对应的推算,可以参考。
这是一个原始的 LeNet 模型图
在 Caffe 中,这个结构进行了一些修改。结构定义在$caffe-
master/examples/mnist/lenet_train_test.prototxt 中。
需要对 google protobuf 有一定了解并且看过 Caffe 中 protobuf 的定义,其定义在$caffe-
master/src/caffe/proto/caffe.proto。
protobuf 是 google 公司的一个开源项目,主要功能是把某种数据结构的信息以某种格式保
存及传递,类似微软的 XML,但是效率较高。目前提供 C++、java 和 python 的 API。
protobuf 简介:
http://blog.163.com/jiang_tao_2010/blog/static/12112689020114305013458/
使用实例 :http://www.ibm.com/developerworks/cn/linux/l-cn-gpb/
Blob
Blob 是用以存储数据的 4 维数组,例如
对于数据:Number*Channel*Height*Width
对于卷积权重:Output*Input*Height*Width
对于卷积偏置:Output*1*1*1
整个结构中包含两个 convolution layer、两个 pooling layer 和两个 fully connected layer。
每个层有多个 Feature Map,每个 Feature Map 通过一种卷积滤波器提取输入的一种特
征,然后每个 Feature Map 有多个神经元。
首先是数据层,测试数据 100 张为一批(batch_size),后面括号内是数据总大小。如
100*28*28= 78400
Top shape: 100 1 28 28 (78400)
Top shape: 100 1 1 1 (100)
conv1(即产生图上 C1 数据)层是一个卷积层,由 20 个特征图 Feature Map 构成。卷积
核的大小是 5*5。 通过卷积之后,数据变成(28-5+1)*(28-5+1),20 个特征
我们是可以随机的初始化权重和偏差,使用 xavier 算法根据输入和输出的神经元数目来决
定初始化的范围。
Top shape: 100 20 24 24 (1152000)
pool1(即产生 S2 数据)是一个降采样层,有 20 个 12*12 的特征图。降采样的核是 2*2
的,所以数据变成 12*12.
Top shape: 100 20 12 12 (288000)
conv2(即产生 C3 数据)是卷积层,核还是 5*5,数据变成(12-5+1)*(12-5+1)。
50 个特征
Top shape: 100 50 8 8 (320000)
pool2(即产生 S3 数据)是降采样层,降采样核为 2*2,则数据变成 4*4
Top shape: 100 50 4 4 (80000)
剩余67页未读,继续阅读
love彤彤
- 粉丝: 32
- 资源: 311
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0