Caffe数据转换1

preview
试读
50页
caffe
需积分: 0 0 下载量 20 浏览量 更新于2022-08-08 收藏 802KB DOCX 举报
【Caffe数据转换1】是关于使用Caffe框架处理MNIST数据集的介绍，主要涉及两种数据存储格式：LMDB和LevelDB。这两者都是键/值对数据库，用于存储和检索训练数据。 **LMDB（Lightning Memory-Mapped Database）**是一种内存映射的数据库，它的特点是速度快、内存占用相对较小，并且支持多个训练模型同时读取同一数据集。相比于LevelDB，LMDB在速度上有10%-15%的优势，这使得它成为Caffe默认的数据存储格式。LMDB的主要特性包括： 1. 内存映射技术，使得数据可以直接在内存中操作。 2. 高并发读取能力，允许多个进程同时读取数据集。 3. 数据的有序存储，基于用户定义的key比较函数。 4. 数据压缩功能，减少存储空间并提升IO效率。 **LevelDB**是一个持久化的键/值存储系统，它将大部分数据存储在磁盘上，而不是像Redis那样全内存存储。LevelDB的特点包括： 1. 数据按key排序存储，便于查找。 2. 简单的操作接口，支持写入、读取和删除记录，以及原子批量操作。 3. 数据快照功能，确保读操作一致性。 4. 支持数据压缩，提高存储效率和读写速度。 5. 性能方面，LevelDB的写操作通常比读操作快，顺序读写优于随机读写。 在Caffe中，数据转换过程通常通过`convert_mnist_data.cpp`程序完成。该程序负责将MNIST数据集从原始文件格式转换为LMDB或LevelDB格式。这个转换过程涉及到以下步骤： 1. 使用`convert_mnist_data.bin`执行文件，该文件由`convert_mnist_data.cpp`源代码编译生成。 2. `convert_mnist_data.bin`接受四个参数：训练数据位置、标签数据位置、转换后的LMDB或LevelDB数据存储位置，以及指定的数据库类型（LMDB或LevelDB）。 3. 转换流程涉及读取MNIST的训练和测试数据及对应的标签，然后将这些数据写入到指定类型的数据库中。 在`convert_mnist_data.cpp`中，使用了如gflags库来解析命令行参数，glog库进行日志记录，以及LevelDB和LMDB的头文件来操作数据库。程序会读取MNIST数据文件，然后通过`leveldb::DB`或`MDB_env`接口，将数据写入到数据库中，形成键/值对，键通常为图像的ID，值为图像数据和对应的标签。 Caffe数据转换是深度学习模型训练前的重要步骤，它将原始数据组织成高效访问的数据库格式，以便于模型的快速训练。对于大型数据集，如MNIST，使用LMDB或LevelDB可以显著提高数据加载速度，优化训练过程。
Caffe1——Mnist 数据集创建 lmdb 或 leveldb 类型的数据
2015-04-28 09:00 623 人阅读 评论(0) 收藏 举报
caffe 源码解析 lmdb 数据转换 leveldb 数据转换
目录(?)[+]
Leveldb 和 lmdb 简单介绍
Caffe 生成的数据分为 2 种格式：Lmdb 和 Leveldb。
它们都是键/值对（Key/Value Pair）嵌入式数据库管理系统编程库。
虽然 lmdb 的内存消耗是 leveldb 的 1.1 倍，但是 lmdb 的速度比 leveldb 快 10%至
15%，更重要的是 lmdb 允许多种训练模型同时读取同一组数据集。
因此 lmdb 取代了 leveldb 成为 Caffe 默认的数据集生成格式
（http://blog.csdn.net/ycheng_sjtu/article/details/40361947）
LevelDb 有如下一些特点：
　　　首先，LevelDb 是一个持久化存储的 KV 系统，和 Redis 这种内存型的 KV 系统不
同，LevelDb 不会像 Redis 一样狂吃内存，而是将大部分数据存储到磁盘上。
　　　其次，LevleDb 在存储数据时，是根据记录的 key 值有序存储的，就是说相邻的
key 值在存储文件中是依次顺序存储的，而应用可以自定义 key 大小比较函数，LevleDb
会按照用户定义的比较函数依序存储这些记录。
　　　再次，像大多数 KV 系统一样，LevelDb 的操作接口很简单，基本操作包括写记
录，读记录以及删除记录。也支持针对多条操作的原子批量操作。
　　　另外，LevelDb 支持数据快照（snapshot）功能，使得读取操作不受写操作影响，
可以在读操作过程中始终看到一致的数据。
除此外，LevelDb 还支持数据压缩等操作，这对于减小存储空间以及增快 IO 效率都
有直接的帮助。LevelDb 性能非常突出，官方网站报道其随机写性能达到 40 万条记录每
秒，而随机读性能达到 6 万条记录每秒。总体来说，LevelDb 的写操作要大大快于读操
作，而顺序读写操作则大大快于随机读写操作。至于为何是这样，看了我们后续推出的
LevelDb 日知录，估计您会了解其内在原因。
（http://www.cnblogs.com/haippy/archive/2011/12/04/2276064.html）
一：程序开始
在 Create.sh 文件通过 convert_mnist_data.bin 来转换数据
[plain] view plaincopy
1. EXAMPLE=examples/mnist
2. DATA=data/mnist
3. BUILD=build/examples/mnist
4. ……
5. $BUILD/convert_mnist_data.bin $DATA/train-images-idx3-ubyte\
6. $DATA/train-labels-idx1-ubyte$EXAMPLE/mnist_train_${BACKEND} --
backend=${BACKEND}
通过命令行解析（gflags）解析后，以上可以理解为在编译平台上（gcc 等）运行
convert_mnist_data.bin 程序，程序需要 4 个参数：
3 个 mian 函数参数：1 训练数据位置，2 标签数据位置，3 lmdb 数据存储位置。
1 个程序中通过 gflags 宏定义的参数：转换的数据类型 lmdb or leveldb。
convert_mnist_data.bin 是由 convert_mnist_data.cpp 编译的可执行文件。
二：数据转换流程图
存放在硬盘中的 mnist 数据分为 4 个文件，训练和测试数据集，训练和测试标签集；其中数据集中存放
了两类数据：图片结构数据和图片数据
三：convert_mnist_data.cpp 函数分析
1.引入必要的头文件和命名空间
#include <gflags/gflags.h>//gflags 命令行参数解析的头文件
#include <glog/logging.h>//记录程序日志的 glog 头文件
#include <google/protobuf/text_format.h>//解析 proto 类型文件中，解析 prototxt 类型的头文件
#include <leveldb/db.h>//引入 leveldb 类型数据头文件
#include <leveldb/write_batch.h>//引入 leveldb 类型数据写入头文件
#include <lmdb.h>
#include <stdint.h>
#include <sys/stat.h>
#include <fstream> // NOLINT(readability/streams)
#include <string>
#include "caffe/proto/caffe.pb.h"//解析 caffe 中 proto 类型文件的头文件
using namespace caffe; // NOLINT(build/namespaces)
using std::string;
2.定义程序变量 backend
通过宏定义字符串类型变量 DEFINE_stringbackend（这个是通过 gflags 来定义的变
量，在程序调用时，通过--backend=${BACKEND}来给变量命名）
3.main（）函数
Argc 为统计 main 函数接受的参数个数，正常调用时 argc=4，argv 为对应的参数值，
argv[1]=源数据路径，arg[2]=标签数据路径，arg[3]=保存 lmdb 数据的路径
[cpp] view plaincopy
1. int main(int argc, char** argv)
2. {
3. const string& db_backend = FLAGS_backend; //获取--backend=${BACKEND}参数
4. if (argc != 4) {
5. gflags::ShowUsageWithFlagsRestrict(argv[0],
6. "examples/mnist/convert_mnist_data");
7. } else {
8. google::InitGoogleLogging(argv[0]);
9. convert_dataset(argv[1], argv[2], argv[3], db_backend);//函数功能把源数据
装换成 backend 型数据，并保存在制定的路劲中
10. }
11. return 0;
12. }
4. convert_dataset（）函数
4.1 读取源数据
4.1.1 打开源数据文件（文件先打开，才能读）
[cpp] view plaincopy
1. std::ifstream image_file(image_filename, std::ios::in | std::ios::binary);
2. std::ifstream label_file(label_filename, std::ios::in | std::ios::binary);
3. CHECK(image_file) <<"Unable to open file "<< image_filename;
4. CHECK(label_file) <<"Unable to open file "<< label_filename;
//引入 std 命名空间中的文件读入 ifstream 子空间，并创建“对象” image_file（要读入的文
件名，文件读入的方式），此处以二进制的方式读入 image_filename 中的文件
//CHECK 用于检测文件是否能够正常打开的函数，估计是定义在上面某个头文件里面的，
具体哪个没有找到；感觉功能类似判断文件是否打开的函数 image_file.is_open(）
4.1.2 定义数据结构文件
根据 mnist 的图像结构，长，宽，channel，样本个数等
[cpp] view plaincopy
1. uint32_t magic; //这个 magic 做什么的我也不清楚，程序读出来，CHECK 后就没在使用
2. uint32_t num_items;
3. uint32_t num_labels;
4. uint32_t rows;
5. uint32_t cols;
//uint32_t 用 typedef 来自定义的一种数据类型，unsigned int32 ，每个 int32 整数占用 4
个字节
4.1.3 读取图片结构数据
[cpp] view plaincopy
1. image_file.read(reinterpret_cast<char*>(&magic), 4);
2. magic = swap_endian(magic);//大端小端转换

剩余49页未读，继续阅读

资源推荐
资源评论
地图帝
  • 粉丝: 25
  • 资源: 297
上传资源 快速赚钱
voice
center-task 前往需求广场，查看用户热搜

最新资源