tensorflow之并行读入数据详解
40 浏览量
2020-12-20
17:29:26
上传
评论
收藏 264KB PDF 举报
tensorflow之并行读入数据详解之并行读入数据详解
最近研究了一下并行读入数据的方式，现在将自己的理解整理如下，理解比较浅，仅供参考。
并行读入数据主要分
1. 创建文件名列表
2. 创建文件名队列
3. 创建Reader和Decoder
4. 创建样例列表
5. 创建批列表（读取时可要可不要，一般情况下样例列表可以执行读取数据操作，但是在实际训练的时候往往需要批列表来
分批进行数据的组织，提取）
其具体流程如下：
一、一、 文件名列表：文件名列表：
文件名列表是一个list类型的数据，里面的内容是需要用的数据文件名。可以使用常规的python语法入：[file1, file2]。也可以使
用tf.train.match_filename_once方法通过匹配输入。
二、文件名队列二、文件名队列
一般使用tf.train.string_input_producer的方法创建文件名队列。该方法传入的是一个文件名列表，输出的是一个先进先出队
列。在该方法中存在两个重要参数，num_epochs和shuffle。num_epochs表示列表遍历的次数，主要是由于有时候训练模型
需要反复的遍历数据集便于更新模型参数，默认情况下是None（循环遍历）。shuffle表示是否随机遍历，默认情况下是
true，表示数据会随机输入队列，当想顺序读入数据时shuffle设置为false。至于其他的capacity表示列表的容
量，shared_name表示共享时的名字。
三、三、Reader和和Decoder
Reader的功能是读取数据记录，Decoder的功能是将数据的记录转化为张量格式。在使用时需要先创建输入数据文件对应的
Reader，然后从文件名队列中取出文件名，在调用Reader.read的方法返回一个类似于（输入文件名，数据记录）的元组。最
后使用Decoder方法将每一列数据都转化为张量的形式。
评论0