基于粒子群算法优化卷积神经网络(PSO-CNN)的回归预测预测，多变量输入模型 优化参数为学习率，批大小batchsize

%% 清空环境变量 warning off % 关闭报警信息 close all % 关闭开启的图窗 clear % 清空变量 clc % 清空命令行 tic %% 导入数据e res=xlsread('数据集.xlsx'); %% 数据分析 num_size = 0.7; % 训练集占数据集比例 outdim = 1; % 最后一列为输出 num_samples = size(res, 1); % 样本个数 res = res(randperm(num_samples), :); % 打乱数据集（不希望打乱时，注释该行） num_train_s = round(num_size * num_samples); % 训练集样本个数 f_ = size(res, 2) - outdim; % 输入特征维度 %% 划分训练集和测试集 P_train = res(1: num_train_s, 1: f_)'; T_train = res(1: num_train_s, f_ + 1: end)'; M = size(P_train, 2); P_test = res(num_train_s + 1: end, 1: f_)'; T_test = res(num_train_s + 1: end, f_ + 1: end)'; N = size(P_test, 2); %% 数据归一化 [p_train, ps_input] = mapminmax(P_train, 0, 1); p_test = mapminmax('apply', P_test, ps_input); [t_train, ps_output] = mapminmax(T_train, 0, 1); t_test = mapminmax('apply', T_test, ps_output); %% 划分训练集和测试集 M = size(P_train, 2); N = size(P_test, 2); %% 数据平铺 % 将数据平铺成1维数据只是一种处理方式 % 也可以平铺成2维数据，以及3维数据，需要修改对应模型结构 % 但是应该始终和输入层数据结构保持一致 p_train = double(reshape(p_train, f_, 1, 1, M)); p_test = double(reshape(p_test , f_, 1, 1, N)); t_train = double(t_train)'; t_test = double(t_test )'; %% 优化函数 fobj = @(x)fical(x); %% 优化算法参数设置 pop = 6; % 数量 Max_iter = 8; % 最大迭代次数 dim = 3; % 优化参数个数 lb = [1e-3, 32, 1e-4]; % 参数取值下界(学习率，批大小，正则化系数) ub = [1e-2, 256, 1e-1]; % 参数取值上界(学习率，批大小，正则化系数) %% 优化 [Best_score,Best_pos, curve] = PSO(pop, Max_iter, lb, ub, dim, fobj); %% 记录最佳参数 Best_pos(2)=round(Best_pos(2)); best_lr = Best_pos(1, 1); best_MiniBatchSize = Best_pos(1, 2); best_l2 = Best_pos(1, 3); %% 建立模型 % ---------------------- 修改模型结构时需对应修改fical.m中的模型结构 -------------------------- layers = [ imageInputLayer([f_, 1, 1]) % 输入层 输入数据规模[f_, 1, 1] convolution2dLayer([3, 1], 16) % 卷积核大小 3*1 生成16张特征图 batchNormalizationLayer % 批归一化层 reluLayer % Relu激活层 convolution2dLayer([3, 1], 32) % 卷积核大小 3*1 生成32张特征图 batchNormalizationLayer % 批归一化层 reluLayer % Relu激活层 dropoutLayer(0.2) % Dropout层 fullyConnectedLayer(1) % 全连接层 regressionLayer]; % 回归层 %% 参数设置 % ---------------------- 修改模型参数时需对应修改fical.m中的模型参数 -------------------------- options = trainingOptions('adam', ... % Adam 梯度下降算法 'MaxEpochs', 300, ... % 最大训练次数 500 'MiniBatchSize',best_MiniBatchSize, ...%批大小，每次调整参数前所选取的样本数量 'InitialLearnRate', best_lr, ... % 初始学习率 best_lr 'LearnRateSchedule', 'piecewise', ... % 学习率下降 'LearnRateDropFactor', 0.5, ... % 学习率下降因子 0.1 'LearnRateDropPeriod', 240, ... % 经过 400 次训练后 学习率为 best_lr * 0.5 'Shuffle', 'every-epoch', ... % 每次训练打乱数据集 'ValidationPatience', Inf, ... % 关闭验证 'L2Regularization', best_l2, ... % 正则化参数 'Plots', 'training-progress', ... % 画出曲线 'Verbose', false); %% 训练模型 net = trainNetwork(p_train, t_train, layers, options); %% 仿真验证 t_sim1 = predict(net, p_train); t_sim2 = predict(net, p_test ); %% 数据反归一化 T_sim1 = mapminmax('reverse', t_sim1', ps_output); T_sim2 = mapminmax('reverse', t_sim2', ps_output); T_sim1 = double(T_sim1) ; T_sim2 = double(T_sim2) ; %% 绘图 figure(1) plot(1 : length(curve), curve,'linewidth',1.5); title('PSO-CNN', 'FontSize', 10); xlabel('迭代次数', 'FontSize', 10); ylabel('适应度值', 'FontSize', 10); grid off %% 均方根误差 RMSE error1 = sqrt(sum((T_sim1 - T_train).^2)./M); error2 = sqrt(sum((T_test - T_sim2).^2)./N); %% %决定系数 R1 = 1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2; R2 = 1 - norm(T_test - T_sim2)^2 / norm(T_test - mean(T_test ))^2; %% %均方误差 MSE mse1 = sum((T_sim1 - T_train).^2)./M; mse2 = sum((T_sim2 - T_test).^2)./N; %% %RPD 剩余预测残差 SE1=std(T_sim1-T_train); RPD1=std(T_train)/SE1; SE=std(T_sim2-T_test); RPD2=std(T_test)/SE; %% 平均绝对误差MAE MAE1 = mean(abs(T_train - T_sim1)); MAE2 = mean(abs(T_test - T_sim2)); %% 平均绝对百分比误差MAPE MAPE1 = mean(abs((T_train - T_sim1)./T_train)); MAPE2 = mean(abs((T_test - T_sim2)./T_test)); %% 训练集绘图 figure %plot(1:M,T_train,'r-*',1:M,T_sim1,'b-o','LineWidth',1) plot(1:M,T_train,'r-*',1:M,T_sim1,'b-o','LineWidth',1.5) legend('真实值','PSO-CNN预测值') xlabel('预测样本') ylabel('预测结果') string={'训练集预测结果对比';['(R^2 =' num2str(R1) ' RMSE= ' num2str(error1) ' MSE= ' num2str(mse1) ' RPD= ' num2str(RPD1) ')' ]}; title(string) %% 预测集绘图 figure plot(1:N,T_test,'r-*',1:N,T_sim2,'b-o','LineWidth',1.5) legend('真实值','PSO-CNN预测值') xlabel('预测样本') ylabel('预测结果') string={'测试集预测结果对比';['(R^2 =' num2str(R2) ' RMSE= ' num2str(error2) ' MSE= ' num2str(mse2) ' RPD= ' num2str(RPD2) ')']}; title(string) %% 测试集误差图 figure ERROR3=T_test-T_sim2; plot(T_test-T_sim2,'b-*','LineWidth',1.5) xlabel('测试集样本编号') ylabel('预测误差') title('测试集预测误差') grid on; legend('PSO-CNN预测值预测输出误差') %% 打印出评价指标 disp(['-----------------------误差计算--------------------------']) disp(['评价结果如下所示：']) disp(['平均绝对误差MAE为：',num2str(MAE2)]) disp(['均方误差MSE为： ',num2str(mse2)]) disp(['均方根误差RMSEP为： ',num2str(error2)]) disp(['决定系数R^2为： ',num2str(R2)]) disp(['剩余预测残差RPD为： ',num2str(RPD2)]) disp(['平均绝对百分比误差MAPE为： ',num2str(MAPE2)]) grid