深度学习笔记（一）：基于numpy的深度神经网络程序总览

# -*- coding: utf-8 -*- """ Created on Tue Sep 26 16:03:41 2017 @author: 董玮 """ import argparse import time import copy import numpy as np import matplotlib.pyplot as plt from tensorflow.examples.tutorials.mnist import input_data """ 类型：抽象类 说明：规则化数据接口，一般用于数据预处理中。 """ class interface_normalize_data(object): """ 类型：公有成员变量 说明：规则化数据过程中，定义一个无穷小精度，用来防止数据计算中的非法操作。 """ epsilon = 1e-8 """ 类型：抽象公有成员函数 说明：用来规则化数据。 参数： data -- 待处理的数据。 返回值： data -- 处理后的数据。 """ def normalize_data(self, data): pass """ 类型：实体类，继承自抽象类interface_normalize_data 说明：用于中心化数据，使数据中心在坐标原点上。 """ class mean_normalization(interface_normalize_data): def normalize_data(self, data): #计算数据每个维度的期望，并用每一条数据减去期望。 data = data - np.mean(data, axis = 1, keepdims = True) return data """ 类型：实体类，继承自抽象类interface_normalize_data 说明：用于中心化数据，并除以方差，使数据中心在坐标原点上，并且使每个维度之间的跨度相似。 """ class variance_normalization(interface_normalize_data): def normalize_data(self, data): data = data - np.mean(data, axis = 1, keepdims = True) #计算数据每个维度的方差。 variance = np.mean(np.square(data), axis = 1, keepdims = True) #除以方差并在除数上加上无穷小精度。 data = data / (variance + self.epsilon) return data """ 类型：实体类，继承自抽象类interface_normalize_data 说明：用于Z-Score统计，与上述实体类的区别是除以标准差而不是方差。 """ class zscore_normalization(interface_normalize_data): def normalize_data(self, data): data = data - np.mean(data, axis = 1, keepdims = True) variance = np.mean(np.square(data), axis = 1, keepdims = True) #除以标准差并在除数上加上无穷小精度。 data = data / np.sqrt(variance + self.epsilon) return data """ 类型：抽象类 说明：神经网络初始化参数接口。 """ class interface_initialize_parameters(object): """ 类型：公有成员变量 说明：用来定义输入层、隐藏层、输出层每层的神经元个数。 """ structure = None """ 类型：公有成员变量 说明：随机种子，用来产生随机数。 """ seed = 1 """ 类型：抽象公有成员函数 说明：用来初始化参数。 """ def initialize_parameters(self): pass """ 类型：实体类 说明：标准的x-avier参数初始化，继承自抽象类interface_initialize_parameters """ class xavier_initialize_parameters(interface_initialize_parameters): """ 类型：公有成员函数 说明：用来初始化参数。 参数：无 返回值： parameters -- 返回初始化后的参数。 """ def initialize_parameters(self): np.random.seed(self.seed) parameters = {} #初始化两类参数，一种是W1、W2、W3……，另一种是b1、b2、b3……。其中数字代表层数。 #W的维度为(当前层神经元数，前一层神经元数)。b的维度为(当前层神经元数，1)。 for l in range(1, len(self.structure)): parameters["W" + str(l)] = np.random.randn(self.structure[l], self.structure[l-1]) / np.sqrt(self.structure[l-1]/2) parameters["b" + str(l)] = np.zeros((self.structure[l], 1)) return parameters """ 类型：实体类 说明：具有batch normalization功能的x-avier参数初始化，继承自抽象类interface_initialize_parameters """ class xavier_initialize_parameters_BN(interface_initialize_parameters): """ 类型：公有成员函数 说明：用来初始化参数。 参数：无 返回值： parameters -- 返回初始化后的参数。 """ def initialize_parameters(self): np.random.seed(self.seed) parameters = {} #因batch normalization需要，初始化三类参数，W1、W2、W3……，gamma1、gamma2、gamma3……，beta1、beta2、beta3……。其中数字代表层数。 #W的维度为(当前层神经元数，前一层神经元数)。gamma与beta的维度均为(当前层神经元数，1)。 for l in range(1, len(self.structure)): parameters["W" + str(l)] = np.random.randn(self.structure[l], self.structure[l-1]) / np.sqrt(self.structure[l-1]/2) parameters["gamma" + str(l)] = np.ones((self.structure[l], 1)) #parameters["gamma" + str(l)] = np.random.randn(self.structure[l], 1) / np.sqrt(self.structure[l]/2) parameters["beta" + str(l)] = np.zeros((self.structure[l], 1)) return parameters """ 类型：抽象类 说明：计算激活函数的值和激活函数的梯度值 """ class interface_activation(object): """ 类型：公有成员变量 说明：规则化数据过程中，定义一个无穷小精度，用来防止数据计算中的非法操作。 """ epsilon = 1e-8 """ 类型：抽象公有成员函数 说明：计算激活函数的值。 """ def activate_function(self, *arguments): pass """ 类型：抽象公有成员函数 说明：计算激活函数的梯度值。 """ def derivation_activate_function(self, *arguments): pass """ 类型：抽象类 说明：计算代价函数的值和代价函数的梯度值 """ class interface_cost(object): """ 类型：公有成员变量 说明：规则化数据过程中，定义一个无穷小精度，用来防止数据计算中的非法操作。 """ epsilon = 1e-8 """ 类型：抽象公有成员函数 说明：计算代价函数并返回代价值。 """ def cost_function(self, *arguments): pass """ 类型：抽象公有成员函数 说明：计算代价函数的梯度并返回梯度值。 """ def derivation_cost_function(self, *arguments): pass """ 类型：具体类 说明：relu激活函数，继承自interface_activation。 """ class relu(interface_activation): """ 类型：公有成员函数 说明：计算relu函数的值。 参数： Z -- 每一层（不包括最后一层）的线性值。 返回值： A -- 激活值。 """ def activate_function(self, *arguments): Z = arguments[0] A = np.maximum(Z, 0) return A """ 类型：公有成员函数 说明：计算relu函数的梯度值。 参数： dA -- 每一层（不包括最后一层）激活值的梯度值。 返回值： A -- 线性值的梯度值。 """ def derivation_activate_function(self, *arguments): dA = arguments[0] A = arguments[1] dZ = dA * np.where(A > 0, 1, 0) return dZ """ 类型：具体类 说明：softmax代价函数，继承自interface_activation。 """ class softmax(interface_cost): """ 类型：公有成员函数 说明：计算softmax代价函数的代价值与输出层（最后一层）的激活值。 参数�