利用tensorflow实现的卷积神经网络来进行MNIST手写数字图像的分类.zip

# -*- coding: utf-8 -*- """ Created on Wed Mar 18 19:15:42 2020 @author: Administrator """ #演示内容：利用tensorflow实现的卷积神经网络来进行MNIST手写数字图像的分类。 #导入numpy模块 import numpy as np #导入tensorflow模块，程序使用tensorflow来实现卷积神经网络 import tensorflow as tf #下载mnist数据集，并从mnist_data目录中读取数据 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets('mnist_data',one_hot=True) #（1）这里的“mnist_data” 是和当前文件相同目录下的一个文件夹。自己先手工建立这个文件夹，然后从https://yann.lecun.com/exdb/mnist/ 下载所需的4个文件（即该网址中第三段“Four files are available on this site:”后面的四个文件），并放到目录MNIST_data下即可。 #（2）MNIST数据集是手写数字字符的数据集。每个样本都是一张28*28像素的灰度手写数字图片。 #（3）one_hot表示独热编码，其值被设为true。在分类问题的数据集标注时，如何不采用独热编码的方式， 类别通常就是一个符号而已，比如说是9。但如果采用独热编码的方式，则每个类表示为一个列表list，共计有10个数值，但只有一个为1，其余均为0。例如，“9”的独热编码可以为[00000 00001]. #定义输入数据x和输出y的形状。函数tf.placeholder的目的是定义输入，可以理解为采用占位符进行占位。 #None这个位置的参数在这里被用于表示样本的个数，而由于样本个数此时具体是多少还无法确定，所以这设为None。而每个输入样本的特征数目是确定的，即为28*28。 input_x = tf.placeholder(tf.float32,[None,28*28])/255 #因为每个像素的取值范围是 0～255 output_y = tf.placeholder(tf.int32,[None,10]) #10表示10个类别 #输入层的输入数据input_x被reshape成四维数据，其中第一维的数据代表了图片数量 input_x_images = tf.reshape(input_x,[-1,28,28,1]) test_x = mnist.test.images[:3000] #读取测试集图片的特征，读取3000个图片 test_y = mnist.test.labels[:3000] #读取测试集图片的标签。就是这3000个图片所对应的标签 #定义卷积神经网络CNN的结构 #首先定义第一层，即卷积层conv1的结构。tf.layers.conv2d函数表示要使用2维的卷积层 conv1 = tf.layers.conv2d( inputs=input_x_images,#输入是input_x_images 。 filters=32,#滤波器的数量是32。 kernel_size=[5,5],#卷积核的尺寸即kernel_size是5*5。 strides=1,#strides即步长设为1. padding='same',#padding参数的作用是决定在进行卷积时，是否要 对输入的图像矩阵边缘补0。 activation=tf.nn.relu#最后设置activation，即激活函数设为relu。 ) print(conv1) #打印conv1，其输出的shape为[28,28，32] #利用tf.layers.max_pooling2d 函数进行最大池操作，此时的输入就是刚才的conv1，这里pool_size设为2*2，步长为2。 pool1 = tf.layers.max_pooling2d( inputs=conv1, pool_size=[2,2], strides=2 ) print(pool1) #用print语句，会看到其输出的形状为[14,14,32]，由于每个图像变为了14*14的，因此图片的尺寸明显变小了 #定义了第二次卷积的结构。同样使用tf.layers.conv2d函数。输入就是刚才的最大池处理后的结果。这里使用了64个卷积核，每个核的大小为5*5. 其它的设置和第一个卷积层相同。 conv2 = tf.layers.conv2d( inputs=pool1, filters=64, kernel_size=[5,5], strides=1, padding='same', activation=tf.nn.relu ) print(conv2) #由于padding设为了'same'，所以输出为[14,14,64]。所以这一层卷积处理后，特征图的数目增加了。但每个图的尺寸仍然是14*14 #利用tf.layers.max_pooling2d 函数进行再一次的最大池操作。此时的输入就是刚才的conv2，pool_size设为2*2，步长为2。 pool2 = tf.layers.max_pooling2d( inputs=conv2, pool_size=[2,2], strides=2 ) print(pool2) #输出为[7,7,64]，即尺寸发生了变化，变为7*7 #刚才进行的是两次卷积以及降采样。得到的特征图有64个，每个大小为7*7=49。下面就要对每个图进行打平处理，64*49=3136. 这样做的目的是为了后续的全连接层做准备，以便得到softmax数值】 flat = tf.reshape(pool2,[-1,7*7*64]) #下面接一个全连接层，使用的是tf.layers.dense函数，其输入为刚才打平的结果flat。units: 输出的大小（维数），激活函数设为relu dense=tf.layers.dense( inputs=flat, units=1024, activation=tf.nn.relu ) print(dense) #输出的特征图的像素个数应该是1024 #利用tf.layers.dropout函数做了一次dropout操作。丢弃率rate设置为0.5，即一半的神经元丢弃不工作。输入就是dense dropout = tf.layers.dropout( inputs=dense, rate=0.5 ) print(dropout) #输出应该仍为1024个数值 #使用tf.layers.dense定义输出层，输入是刚才的dropout的结果。这个层是一个简单的全连接层，没有使用激活函数，输出10个数值。 outputs = tf.layers.dense( inputs=dropout, units=10 ) print(outputs) #输出为10个数值 #到现在为止，完成了一次正向传播。此时得到的outputs就是预测的结果。】 #计算交叉熵损失，利用的是softmax_cross_entropy函数。其中的output_y之前讲过，表示真实的分类结果。而outputs则表示预测的结果 loss = tf.losses.softmax_cross_entropy(onehot_labels=output_y,logits=outputs) print(loss)#打印这个loss的维度 #定义训练操作，采用梯度下降的优化方法，设置学习率为0.001 train_op = tf.train.GradientDescentOptimizer(0.001).minimize(loss) #定义模型的性能评价指标为准确率，具体是使用tf.metrics.accuracy函数来实现的。labels是正确的标签，predictions则是预测的结果 accuracy_op = tf.metrics.accuracy( labels=tf.argmax(output_y,axis=1), #返回张量维度上最大值的索引 predictions=tf.argmax(outputs,axis=1)#返回张量维度上最大值的索引 ) print(accuracy_op)#打印这个张量 #以上定义了tensorflow的图，下面就要开始执行任务了。首先要初始化所有变量 sess=tf.Session() init=tf.group(tf.global_variables_initializer(),tf.local_variables_initializer()) sess.run(init) #只训练了1000个批次，即进行了1000次迭代 for i in range(1000): #每次迭代只选取 50个图片及其标签】 batch = mnist.train.next_batch(50) #把batch中的这50幅图像的特征数据batch[0]及其标签batch[1] 送入模型，进行训练操作，并得到其训练损失 train_loss, train_op_=sess.run([loss,train_op],{input_x:batch[0],output_y:batch[1]}) #每迭代100次就输出一下训练的损失函数取值和在测试数据集（只选了3000个图片）上的准确率。 if i%100==0: #计算在测试集上的准确率 test_accuracy=sess.run(accuracy_op,{input_x:test_x,output_y:test_y}) print("Step=%d, Train loss=%.4f,Test accuracy=%.2f"%(i,train_loss,test_accuracy[0]))#打印输出当前的步数，训练的损失，以及准确率 #这个模型已经训练完毕。下面选取20幅图像，看一下模型预测的效果如何。这里test_output就是预测的结果 test_output=sess.run(outputs,{input_x:test_x[:20]}) #由于test_output实际上是一个softmax的结果，所以下面用np.argmax函数求每一幅图像预测的分类值到底是几 inferenced_y=np.argmax(test_output,1) #所以这个inferenced_y，实际上就是预测的数字到底是几，把它打印出来。 print(inferenced_y,'Inferenced numbers（预测的标签）') #下面我们再使用print语句，看一下这20个图像的真实标签 print(np.argmax(test_y[:20],1),'Real numbers（真实的标签') #关闭这个session ses