BP神经网络实现多输入多输出回归模型搭建，python，带数据集

import numpy as np import matplotlib.pyplot as plt def normalizeData(population, vehicle, roadarea, passengertraffic, freighttraffic): '''将数据进行标准化处理''' global sampleout, sampleinminmax, sampleoutminmax # 将输入数据改为的矩阵； samplein = np.mat([population, vehicle, roadarea]) # 将输出数据改为的矩阵； sampleout = np.mat([passengertraffic, freighttraffic]) # 求得 vehicle 和 roadarea 的最小值和最大值：[最小值 最大值]； sampleinminmax = np.array( [samplein.min(axis=1).T.tolist()[0], samplein.max(axis=1).T.tolist()[0]] ).transpose() # 求得 passengertraffic 和 freighttraffic 的最小值和最大值：[最小值 最大值]； sampleoutminmax = np.array( [sampleout.min(axis=1).T.tolist()[0], sampleout.max(axis=1).T.tolist()[0]] ).transpose() # 将数据进行标准化（归一化）； # 将数据映射到 -1 到 1 的范围内； sampleinnorm = ( 2 * (np.array(samplein.T) - sampleinminmax.transpose()[0]) / (sampleinminmax.transpose()[1] - sampleinminmax.transpose()[0]) - 1 ).transpose() # 将数据映射到 -1 到 1 的范围内； sampleoutnorm = ( 2 * (np.array(sampleout.T).astype(float) - sampleoutminmax.transpose()[0]) / (sampleoutminmax.transpose()[1] - sampleoutminmax.transpose()[0]) - 1 ).transpose() # 返回标准化后的输入、输出数据、原始数据的最值； return sampleinnorm, sampleoutnorm def sigmoid(x): #报 RuntimeWarning: overflow encountered in exp，numpy数组x中可能有绝对值比较大的负数，这样传给sigmoid函数时，分母np.exp(-x)会非常大，导致np.exp(-x)溢出 # return 1 / (1 + np.exp(-x)) #但在numpy数组中，你不好直接判断np.array大于零或小于零，所以需要把数组里的数字取出来一个一个判断，计算后，再重新整合 x_ravel = x.ravel() # 将numpy数组展平 length = len(x_ravel) y = [] for index in range(length): if x_ravel[index] >= 0: y.append(1.0 / (1 + np.exp(-x_ravel[index]))) else: y.append(np.exp(x_ravel[index]) / (np.exp(x_ravel[index]) + 1)) return np.array(y).reshape(x.shape) def network(sampleinnorm, sampleoutnorm): '''神经网络；''' global sampleoutminmax, errhistory # 初始化神经网络的参数； # 训练的次数； maxepochs = 100 # 学习率； learnrate = 0.005 # 认为可以停止训练的理想误差，达到该误差值时停止训练； errorfinal = 0.5 * 10 ** (-3) # 样本数，下面反向求解计算时用于产生样本数个 1 参与运算，用于计数； samnum = 20 # 输入神经网络的数据维度； indim = 3 # 输出神经网络的数据维度； outdim = 2 # 隐藏层的节点数； hiddenunitnum = 8 # 使用 np.random.rand(3, 1) 创建一个数据范围在 [0, 1] 之间的 3 行 1 列的随机矩阵； # 通过 2 * np.random.rand(3, 1) - 1 的方法将数据范围映射到 [-1, 1] 之间； # 创建隐藏层的 w 权重和 b 偏置矩阵； w1 = 2 * np.random.rand(hiddenunitnum, indim) - 1 b1 = 2 * np.random.rand(hiddenunitnum, 1) - 1 # 创建输出层的 w 权重和 b 偏置矩阵； w2 = 2 * np.random.rand(outdim, hiddenunitnum) - 1 b2 = 2 * np.random.rand(outdim, 1) - 1 # 创建一个列表，用于存储每次训练产生的误差，训练结束后用于绘图，进行可视化，便于分析整个训练过程误差的变化情况； errhistory = [] for _ in range(maxepochs): # 通过 h = sigmoid(w1 x + b1) 计算隐藏层的输出； hiddenout = sigmoid((np.dot(w1, sampleinnorm).transpose() + b1.transpose())).transpose() # 通过 y = w2 h + b2 计算输出层的输出； # 因为我们希望使用神经网络进行多输入参数的拟合，不是解决分类问题，所以输出层不能使用激活函数进行非线性化处理； networkout = (np.dot(w2, hiddenout).transpose() + b2.transpose()).transpose() # 计算神经网络输出和真实输出之间的误差； err = sampleoutnorm - networkout # 对误差进行求和，得到总的误差； # 使用整个数据集的误差和作为误差，而不是单条数据段，目的是为了更快的去降低误差； sse = sum(sum(err ** 2)) # 使用一个列表将误差存储下来； errhistory.append(sse) # 如果误差已经在期望的范围内，则停止训练； if sse < errorfinal: print("good") break # 开始进行反向传递； # 因为是使用神经网络进行拟合，所以最终的输出层不适用激活函数进行非线性化； # 所以最终额输出层的损失函数不需要对最终输出求偏导，直接赋值即可； delta2 = err # 隐藏层的损失函数对隐藏层的输出求偏导； # d_L_d_ypred × d_ypred_d_h # 使用 x = (w2 × (ytrue - ypred))f'(h) = (w2 × (ytrue - ypred))(h)(1 - h) 进行反向求解； delta1 = np.dot(w2.transpose(), delta2) * hiddenout * (1 - hiddenout) # 计算输出层的权重 w2 和偏置 b2； # dw2 = (ytrue - ypred) × h dw2 = np.dot(delta2, hiddenout.transpose()) # db2 = (ytrue - ypred) × 1 db2 = np.dot(delta2, np.ones((samnum, 1))) # 计算隐藏层的权重 w1 和偏置 b1； # dw1 = d_L_d_ypred × d_ypred_d_h × x dw1 = np.dot(delta1, sampleinnorm.transpose()) # db1 = d_L_d_ypred × d_ypred_d_h × 1 db1 = np.dot(delta1, np.ones((samnum, 1))) # 更新输出层的权重 w2 和偏置 b2； w2 += learnrate * dw2 b2 += learnrate * db2 # 更新隐藏层的权重 w1 和 b1； w1 += learnrate * dw1 b1 += learnrate * db1 return w1, b1, w2, b2 def predict(w1, b1, w2, b2, sampleinnorm): '''使用训练好的神经网络进行预测；''' # 使用新的权重计算隐藏层和输出层的输出； # h = f(w1 x + b1) hiddenout = sigmoid((np.dot(w1, sampleinnorm).transpose() + b1.transpose())).transpose() # o = w2 h + b2 networkout = (np.dot(w2, hiddenout).transpose() + b2.transpose()).transpose() return networkout def scalableData(normalizeData, minmax): # 由于进行了归一化，用最小值和最大值计算原始输出； # 计算样本原始数据的变化范围：最大值 - 最小值； diff = minmax[:, 1] - minmax[:, 0] # 将新权重计算的输出映射到 [0, 1] 范围； srcData = (normalizeData + 1) / 2 # 将神经网络输出的第 1 个参数还原到原始的数据范围； srcData[0] = srcData[0] * diff[0] + minmax[0][0] # 将神经网络输出的第 2 个参数还原到原始的数据范围； srcData[1] = srcData[1] * diff[1] + minmax[1][0] return srcData def plotGraph(): '''结果可视化；''' global sampleout, errhistory, networkPredict # 输出转为 numpy； sampleout = np.array(sampleout) # 绘制第 1 张图； plt.figure(1) # print(len(errhistory)) # print(errhistory) plt.plot(errhistory, label="err") plt.legend(loc='upper left') plt.show() # 绘制第 2 张图； plt.figure(2) plt.subplot(2, 1, 1) plt.plot(sampleout[0], color="blue", linewidth=1.5, linestyle="-", label=u"real passengertraffic") plt.plot(networkPredict[0], color="red", linewi