深度学习工具使用

读书笔记 1 CIFAR-10 在 caffe 上进行训练与学习

本次学习笔记作用，知道如何在 caffe 上训练与学习，如何看结果。

1.1 使用数据库：CIFAR-10

60000 张 32X32 彩色图像 10 类

50000 张训练

10000 张测试

1.2 准备

在终端运行以下指令：

cd $CAFFE_ROOT/data/cifar10

1.3 模型

该 CNN 由卷积层，POOLing 层，非线性变换层，在顶端的局部对比归一化线性分类器组成。

该模型的定义在 CAFFE_ROOT/examples/cifar10 directory’s cifar10_quick_train.prototxt 中，

可以进行修改。其实后缀为 prototxt 很多都是用来修改配置的。

1.4 训练和测试

训练这个模型非常简单，当我们写好参数设置的文件 cifar10_quick_solver.prototxt 和定义的

文件 cifar10_quick_train.prototxt 和 cifar10_quick_test.prototxt 后，运行 train_quick.sh 或者在

终端输入下面的命令：

train_net.bin,cifar10_quick_solver.prototxt 作为参数。

然后出现类似以下的信息：

I0317 21:52:48.945710 2008298256 net.cpp:74] Creating Layer conv1

I0317 21:52:49.309376 2008298256 net.cpp:167] Memory required for Data 23790808

I0317 21:52:49.309422 2008298256 solver.cpp:36] Solver scaffolding done.

I0317 21:52:49.309447 2008298256 solver.cpp:47] Solving CIFAR10_quick_train

之后，训练开始

I0317 21:53:12.179772 2008298256 solver.cpp:208] Iteration 100, lr = 0.001

I0317 21:53:12.185698 2008298256 solver.cpp:65] Iteration 100, loss = 1.73643

...

I0317 21:54:41.150030 2008298256 solver.cpp:87] Iteration 500, Testing net

I0317 21:54:47.129461 2008298256 solver.cpp:114] Test score #0: 0.5504

I0317 21:54:47.129500 2008298256 solver.cpp:114] Test score #1: 1.27805

当 5000 次迭代之后，正确率约为 75%，模型的参数存储在二进制 protobuf 格式在

cifar10_quick_iter_5000

然后，这个模型就可以用来运行在新数据上了。

1.5 其他

另外，更改 cifar*solver.prototxt 文件可以使用 CPU 训练，

# solver mode: CPU or GPU

solver_mode: CPU

可以看看 CPU 和 GPU 训练的差别。

主要资料来源：caffe 官网教程

读书笔记 2 用一个预训练模型提取特征

本学习笔记的作用在于为后面打基础，没有什么实际的东西可以观测到，要可视化特

征还要观看后面的教程。

2.1 制作一个数据库

先做一个临时文件夹存放东西。

mkdir examples/_temp

我们为两张在 images 文件夹的照片生成一个文件列表（默认为一张图片，cat1 是我随意加

上去的）

2.2.定义特征提取网络结构

在实践中，从一个数据集中减去均值图像对于提高分类准确性很重要，因此从 ILSVRC

dataset 中下载均值图像数据库

data/ilsvrc12/get_ilsvrc_aux.sh

我们将使用其中的 data/ilsvrc212/imagenet_mean.binaryproto 去定义网络结构。

将定义结构的文件 cope 到我们的临时文件夹。

cp examples/feature_extraction/imagenet_val.prototxt examples/_temp

然后，我们进入 imagenet_val.prototxt 更改路径。更改其中$CAFFE_DIR 的地方

下图是我做的改动。

2.3.提取特征

执行指令

build/tools/extract_features.bin examples/imagenet/caffe_reference_imagenet_model

examples/_temp/imagenet_val.prototxt fc7 examples/_temp/features 10

其中 fc7 是最高层的特征，我们也可以使用其他层提取，像 conv5 或 pool3

最后的参数是数据的批次

特征保存在 LevelDB examples/_temp/features ，可以运用到其他代码了。

这里可以发现，特征文件中 5 个文件和 cifar10 中的 leveldb 是相似的。

_temp 下 features

因此，这是我们训练时组建模型时必要的文件。