tensorflow MNIST 数字手写体识别

import tensorflow as tf INPUT_NODE=784 OUTPUT_NODE=10 NUM_CHANNELS=1 IMAGE_SIZE=28 CONV1_DEEP=6 CONV1_SIZE=5 CONV2_DEEP=16 CONV2_SIZE=5 FC_SIZE=120 FC2_SIZE=84 NUM_LABELS=10 #搭建CNN def inference(input_tensor,train,regularizer): #第一层卷积层 # 第一层：卷积层，过滤器的尺寸为5×5，深度为6,不使用全0补充，步长为1。 # 尺寸变化：32×32×1->28×28×6 with tf.variable_scope('layer1-conv1'): conv1_weights=tf.get_variable( "weight",[CONV1_SIZE,CONV1_SIZE ,NUM_CHANNELS,CONV1_DEEP], initializer=tf.truncated_normal_initializer(stddev=0.1) ) conv1_biases=tf.get_variable( "biases",[CONV1_DEEP],initializer=tf.constant_initializer(0.0) ) conv1=tf.nn.conv2d( input_tensor,conv1_weights,strides=[1,1,1,1],padding='VALID' ) relu1=tf.nn.relu(tf.nn.bias_add(conv1,conv1_biases)) # 第2层卷积层 # 第二层：池化层，过滤器的尺寸为2×2，使用全0补充，步长为2。 # 尺寸变化：28×28×6->14×14×6 with tf.name_scope('layer2-pool1'): pool1=tf.nn.max_pool( relu1,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME' ) # 第三层：卷积层，过滤器的尺寸为5×5，深度为16,不使用全0补充，步长为1。 # 尺寸变化：14×14×6->10×10×16 with tf.variable_scope('layer3-conv2'): conv2_weights = tf.get_variable( "weight", [CONV2_SIZE, CONV2_SIZE, CONV1_DEEP, CONV2_DEEP], initializer=tf.truncated_normal_initializer(stddev=0.1) ) conv2_biases = tf.get_variable( "biases", [CONV2_DEEP], initializer=tf.constant_initializer(0.0) ) conv2 = tf.nn.conv2d( pool1, conv2_weights, strides=[1, 1, 1, 1], padding='VALID' ) relu2 = tf.nn.relu(tf.nn.bias_add(conv2, conv2_biases)) # 第四层：池化层，过滤器的尺寸为2×2，使用全0补充，步长为2。 # 尺寸变化：10×10×6->5×5×16 with tf.name_scope('layer4-pool2'): pool2 = tf.nn.max_pool( relu2, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME' ) # 将第四层池化层的输出转化为第五层全连接层的输入格式。 # 第四层的输出为5×5×16的矩阵，然而第五层全连接层需要的输入格式 # 为向量，所以我们需要把代表每张图片的尺寸为5×5×16的矩阵拉直成一个长度为5×5×16的向量。 # 举例说，每次训练64张图片， # 那么第四层池化层的输出的size为(64,5,5,16),拉直为向量， # nodes=5×5×16=400,尺寸size变为(64,400) pool_shape=pool2.get_shape().as_list() nodes=pool_shape[1]*pool_shape[2]*pool_shape[3] reshaped = tf.reshape(pool2,[-1,nodes]) # 第五层：全连接层，nodes=5×5×16=400，400->120的全连接 # 尺寸变化：比如一组训练样本为64，那么尺寸变化为64×400->64×120 # 训练时，引入dropout，dropout在训练时会随机将部分节点的输出改为0， # dropout可以避免过拟合问题。 # 这和模型越简单越不容易过拟合思想一致，和正则化限制权重的大小， # 使得模型不能任意拟合训练数据中的随机噪声，以此达到避免过拟合思想一致。 # 本文最后训练时没有采用dropout， # dropout项传入参数设置成了False，因为训练和测试写在了一起没有分离，不过大家可以尝试。 with tf.variable_scope('layer5-fc1'): fc1_weights=tf.get_variable( "weight",[nodes,FC_SIZE], initializer=tf.truncated_normal_initializer(stddev=0.1) ) if regularizer!=None: tf.add_to_collection('losses',regularizer(fc1_weights)) fc1_biases=tf.get_variable( "biases",[FC_SIZE],initializer=tf.constant_initializer(0.1) ) fc1=tf.nn.relu(tf.matmul(reshaped,fc1_weights)+fc1_biases) if train: fc1=tf.nn.dropout(fc1,0.5) # 第六层：全连接层，120->84的全连接 # 尺寸变化：比如一组训练样本为64，那么尺寸变化为64×120->64×84 with tf.variable_scope('layer6-fc2'): fc2_weights=tf.get_variable( "weight",[FC_SIZE,FC2_SIZE], initializer=tf.truncated_normal_initializer(stddev=0.1) ) if regularizer!=None: tf.add_to_collection('losses',regularizer(fc2_weights)) fc2_biases = tf.get_variable( 'biases', [FC2_SIZE], initializer=tf.truncated_normal_initializer(stddev=0.1) ) fc2 = tf.nn.relu(tf.matmul(fc1, fc2_weights) + fc2_biases) if train: fc2 = tf.nn.dropout(fc2, 0.5) #第七层：全连接层（近似表示），84->10的全连接 #尺寸变化：比如一组训练样本为64，那么尺寸变化为64×84->64×10。 # 最后，64×10的矩阵经过softmax之后就得出了64张图片分类于每种数字的概率， #即得到最后的分类结果。 with tf.variable_scope('layer7-fc3'): fc3_weights = tf.get_variable( 'weight',[FC2_SIZE,NUM_LABELS], initializer=tf.truncated_normal_initializer(stddev=0.1) ) if regularizer != None: tf.add_to_collection('losses',regularizer(fc3_weights)) fc3_biases = tf.get_variable('biases', [NUM_LABELS], initializer=tf.truncated_normal_initializer(stddev=0.1) ) logit = tf.matmul(fc2,fc3_weights) + fc3_biases return logit