keras使用Sequence类调用大规模数据集进行训练的实现

keras使用使用Sequence类调用大规模数据集进行训练的实现类调用大规模数据集进行训练的实现

主要介绍了keras使用Sequence类调用大规模数据集进行训练的实现，具有很好的参考价值，希望对大家有所

帮助。一起跟随小编过来看看吧

使用Keras如果要使用大规模数据集对网络进行训练，就没办法先加载进内存再从内存直接传到显存了，除了使用Sequence

类以外，还可以使用迭代器去生成数据，但迭代器无法在fit_generation里开启多进程，会影响数据的读取和预处理效率，在

本文中就不在叙述了，有需要的可以另外去百度。

下面是我所使用的代码

class SequenceData(Sequence):

self.index = random.sample(range(self.L), self.L)

#返回长度，通过len(<你的实例>)调用

def __len__(self):

return self.L - self.batch_size

#即通过索引获取a[0],a[1]这种

def __getitem__(self, idx):

batch_indexs = self.index[idx:(idx+self.batch_size)]

batch_datas = [self.datas[k] for k in batch_indexs]

img1s,img2s,audios,labels = self.data_generation(batch_datas)

return ({'face1_input_1': img1s, 'face2_input_2': img2s, 'input_3':audios},{'activation_7':labels})

D = SequenceData('train.csv')

model_train.fit_generator(generator=D,steps_per_epoch=int(len(D)),

epochs=2, workers=20, #callbacks=[checkpoint],

use_multiprocessing=True, validation_data=SequenceData('vali.csv'),validation_steps=int(20000/32))

同样的，也可以在测试的时候使用

model.evaluate_generator(generator=SequenceData('face_test.csv'),steps=int(125100/32),workers=32)

补充知识：补充知识：keras数据自动生成器，继承数据自动生成器，继承keras.utils.Sequence，结合，结合fit_generator实现节约内存训练实现节约内存训练

我就废话不多说了，大家还是直接看代码吧~

#coding=utf-8

'''

import numpy as np

from keras.models import Sequential

from keras.layers import Dense

class DataGenerator(keras.utils.Sequence):

def __init__(self, datas, batch_size=1, shuffle=True):

self.batch_size = batch_size

self.datas = datas

self.indexes = np.arange(len(self.datas))

self.shuffle = shuffle