完美解决TensorFlow和Keras大数据量内存溢出的问题
9 浏览量
2020-12-17
10:49:17
上传
评论 3
收藏 71KB PDF 举报
完美解决完美解决TensorFlow和和Keras大数据量内存溢出的问题大数据量内存溢出的问题
内存溢出问题是参加kaggle比赛或者做大数据量实验的第一个拦路虎。
以前做的练手小项目导致新手产生一个惯性思维——读取训练集图片的时候把所有图读到内存中，然后分批训练。
其实这是有问题的，很容易导致OOM。现在内存一般16G，而训练集图片通常是上万张，而且RGB图，还很大，VGG16的图
片一般是224x224x3，上万张图片，16G内存根本不够用。这时候又会想起——设置batch，但是那个batch的输入参数却又是
图片，它只是把传进去的图片分批送到显卡，而我OOM的地方恰是那个“传进去”的图片，怎么办？
解决思路其实说来也简单，打破思维定式就好了，不是把所有图片读到内存中，而是只把所有图片的路径一次性读到内存中。
大致的解决思路为：大致的解决思路为：
将上万张图片的路径一次性读到内存中，自己实现一个分批读取函数，在该函数中根据自己的内存情况设置读取图片，只把这
一批图片读入内存中，然后交给模型，模型再对这一批图片进行分批训练，因为内存一般大于等于显存，所以内存的批次大小
和显存的批次大小通常不相同。
下面代码分别介绍Tensorflow和Keras分批将数据读到内存中的关键函数。Tensorflow对初学者不太友好，所以我个人现阶段
更习惯用它的高层API Keras来做相关项目，下面的TF实现是之前不会用Keras分批读时候参考的一些列资料，在模型训练上
仍使用Keras，只有分批读取用了TF的API。
Tensorlow
在input.py里写get_batch函数。
def get_batch(X_train, y_train, img_w, img_h, color_type, batch_size, capacity):
'''
Args:
X_train: train img path list
y_train: train labels list
img_w: image width
img_h: image height
batch_size: batch size
capacity: the maximum elements in queue
Returns:
X_train_batch: 4D tensor [batch_size, width, height, chanel],\
dtype=tf.float32
y_train_batch: 1D tensor [batch_size], dtype=int32
'''
X_train = tf.cast(X_train, tf.string)
y_train = tf.cast(y_train, tf.int32)
# make an input queue
input_queue = tf.train.slice_input_producer([X_train, y_train])
y_train = input_queue[1] X_train_contents = tf.read_file(input_queue[0])
X_train = tf.image.decode_jpeg(X_train_contents, channels=color_type)
X_train = tf.image.resize_images(X_train, [img_h, img_w],
tf.image.ResizeMethod.NEAREST_NEIGHBOR)
X_train_batch, y_train_batch = tf.train.batch([X_train, y_train],
batch_size=batch_size,
num_threads=64,
capacity=capacity)
y_train_batch = tf.one_hot(y_train_batch, 10)
return X_train_batch, y_train_batch
在train.py文件中训练（下面不是纯TF代码，model.fit是Keras的拟合，用纯TF的替换就好了）。
X_train_batch, y_train_batch = inp.get_batch(X_train, y_train,
img_w, img_h, color_type,
train_batch_size, capacity)
X_valid_batch, y_valid_batch = inp.get_batch(X_valid, y_valid,
img_w, img_h, color_type,
valid_batch_size, capacity)
with tf.Session() as sess:
coord = tf.train.Coordinator()
资源评论
weixin_38640984
- 粉丝: 4
- 资源: 944
最新资源
- 高等数学第一章第二节数列的极限
- Python 版冒泡排序算法源代码
- tensorflow-gpu-2.7.2-cp38-cp38-manylinux2010-x86-64.whl
- tensorflow-2.7.3-cp39-cp39-manylinux2010-x86-64.whl
- tensorflow-2.7.2-cp39-cp39-manylinux2010-x86-64.whl
- Python版本快速排序源代码
- Python 语言版的快速排序算法实现
- 450815388207377安卓_base.apk
- 超微主板 X9DRE-TF+ bios 支持 nvme启动
- 基于Python通过下载气象数据和插值拟合离散数据曲线实现对寒潮过程的能量分析
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
