import tensorflow as tf
INPUT_NODE=784
OUTPUT_NODE=10
NUM_CHANNELS=1
IMAGE_SIZE=28
CONV1_DEEP=6
CONV1_SIZE=5
CONV2_DEEP=16
CONV2_SIZE=5
FC_SIZE=120
FC2_SIZE=84
NUM_LABELS=10
#搭建CNN
def inference(input_tensor,train,regularizer):
#第一层卷积层
# 第一层：卷积层，过滤器的尺寸为5×5，深度为6,不使用全0补充，步长为1。
# 尺寸变化：32×32×1->28×28×6
with tf.variable_scope('layer1-conv1'):
conv1_weights=tf.get_variable(
"weight",[CONV1_SIZE,CONV1_SIZE ,NUM_CHANNELS,CONV1_DEEP],
initializer=tf.truncated_normal_initializer(stddev=0.1)
)
conv1_biases=tf.get_variable(
"biases",[CONV1_DEEP],initializer=tf.constant_initializer(0.0)
)
conv1=tf.nn.conv2d(
input_tensor,conv1_weights,strides=[1,1,1,1],padding='VALID'
)
relu1=tf.nn.relu(tf.nn.bias_add(conv1,conv1_biases))
# 第2层卷积层
# 第二层：池化层，过滤器的尺寸为2×2，使用全0补充，步长为2。
# 尺寸变化：28×28×6->14×14×6
with tf.name_scope('layer2-pool1'):
pool1=tf.nn.max_pool(
relu1,ksize=[1,2,2,1],strides=[1,2,2,1],padding='SAME'
)
# 第三层：卷积层，过滤器的尺寸为5×5，深度为16,不使用全0补充，步长为1。
# 尺寸变化：14×14×6->10×10×16
with tf.variable_scope('layer3-conv2'):
conv2_weights = tf.get_variable(
"weight", [CONV2_SIZE, CONV2_SIZE, CONV1_DEEP, CONV2_DEEP],
initializer=tf.truncated_normal_initializer(stddev=0.1)
)
conv2_biases = tf.get_variable(
"biases", [CONV2_DEEP], initializer=tf.constant_initializer(0.0)
)
conv2 = tf.nn.conv2d(
pool1, conv2_weights, strides=[1, 1, 1, 1], padding='VALID'
)
relu2 = tf.nn.relu(tf.nn.bias_add(conv2, conv2_biases))
# 第四层：池化层，过滤器的尺寸为2×2，使用全0补充，步长为2。
# 尺寸变化：10×10×6->5×5×16
with tf.name_scope('layer4-pool2'):
pool2 = tf.nn.max_pool(
relu2, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME'
)
# 将第四层池化层的输出转化为第五层全连接层的输入格式。
# 第四层的输出为5×5×16的矩阵，然而第五层全连接层需要的输入格式
# 为向量，所以我们需要把代表每张图片的尺寸为5×5×16的矩阵拉直成一个长度为5×5×16的向量。
# 举例说，每次训练64张图片，
# 那么第四层池化层的输出的size为(64,5,5,16),拉直为向量，
# nodes=5×5×16=400,尺寸size变为(64,400)
pool_shape=pool2.get_shape().as_list()
nodes=pool_shape[1]*pool_shape[2]*pool_shape[3]
reshaped = tf.reshape(pool2,[-1,nodes])
# 第五层：全连接层，nodes=5×5×16=400，400->120的全连接
# 尺寸变化：比如一组训练样本为64，那么尺寸变化为64×400->64×120
# 训练时，引入dropout，dropout在训练时会随机将部分节点的输出改为0，
# dropout可以避免过拟合问题。
# 这和模型越简单越不容易过拟合思想一致，和正则化限制权重的大小，
# 使得模型不能任意拟合训练数据中的随机噪声，以此达到避免过拟合思想一致。
# 本文最后训练时没有采用dropout，
# dropout项传入参数设置成了False，因为训练和测试写在了一起没有分离，不过大家可以尝试。
with tf.variable_scope('layer5-fc1'):
fc1_weights=tf.get_variable(
"weight",[nodes,FC_SIZE],
initializer=tf.truncated_normal_initializer(stddev=0.1)
)
if regularizer!=None:
tf.add_to_collection('losses',regularizer(fc1_weights))
fc1_biases=tf.get_variable(
"biases",[FC_SIZE],initializer=tf.constant_initializer(0.1)
)
fc1=tf.nn.relu(tf.matmul(reshaped,fc1_weights)+fc1_biases)
if train:
fc1=tf.nn.dropout(fc1,0.5)
# 第六层：全连接层，120->84的全连接
# 尺寸变化：比如一组训练样本为64，那么尺寸变化为64×120->64×84
with tf.variable_scope('layer6-fc2'):
fc2_weights=tf.get_variable(
"weight",[FC_SIZE,FC2_SIZE],
initializer=tf.truncated_normal_initializer(stddev=0.1)
)
if regularizer!=None:
tf.add_to_collection('losses',regularizer(fc2_weights))
fc2_biases = tf.get_variable(
'biases',
[FC2_SIZE],
initializer=tf.truncated_normal_initializer(stddev=0.1)
)
fc2 = tf.nn.relu(tf.matmul(fc1, fc2_weights) + fc2_biases)
if train:
fc2 = tf.nn.dropout(fc2, 0.5)
#第七层：全连接层（近似表示），84->10的全连接
#尺寸变化：比如一组训练样本为64，那么尺寸变化为64×84->64×10。
# 最后，64×10的矩阵经过softmax之后就得出了64张图片分类于每种数字的概率，
#即得到最后的分类结果。
with tf.variable_scope('layer7-fc3'):
fc3_weights = tf.get_variable(
'weight',[FC2_SIZE,NUM_LABELS],
initializer=tf.truncated_normal_initializer(stddev=0.1)
)
if regularizer != None:
tf.add_to_collection('losses',regularizer(fc3_weights))
fc3_biases = tf.get_variable('biases',
[NUM_LABELS],
initializer=tf.truncated_normal_initializer(stddev=0.1)
)
logit = tf.matmul(fc2,fc3_weights) + fc3_biases
return logit
