基于贝叶斯(bayes)优化长短期记忆网络bayes-LSTM回归预测，matlab代码，要求2019及以上版本 评价指标包

%% 清空环境变量 warning off % 关闭报警信息 close all % 关闭开启的图窗 clear % 清空变量 clc % 清空命令行 %% 导入数据 % 训练集— P_train = xlsread('data','training set','B2：G191')'; T_train= xlsread('data','training set','H2：H191')'; % 测试集——44个样本 P_test=xlsread('data','test set','B2:G45')'; T_test=xlsread('data','test set','H2:H45')'; M = size(P_train,2); % 测试集—200个 N = size(T_test,2); outdim=1; %输出的维度 f_ = size(P_train, 1); % 输入特征维度 %% 数据归一化 [p_train, ps_input] = mapminmax(P_train, 0, 1); p_test = mapminmax('apply', P_test, ps_input); [t_train, ps_output] = mapminmax(T_train, 0, 1); t_test = mapminmax('apply', T_test, ps_output); %% 格式转换 for i = 1 : M vp_train{i, 1} = p_train(:, i); vt_train{i, 1} = t_train(:, i); end for i = 1 : N vp_test{i, 1} = p_test(:, i); vt_test{i, 1} = t_test(:, i); end %% 创建待优化函数 ObjFcn = @CostFunction; %% 贝叶斯优化参数范围 optimVars = [ optimizableVariable('NumOfUnits', [10, 50], 'Type', 'integer') optimizableVariable('InitialLearnRate', [1e-3, 1], 'Transform', 'log') optimizableVariable('L2Regularization', [1e-10, 1e-2], 'Transform', 'log')]; %% 贝叶斯优化网络参数 BayesObject = bayesopt(ObjFcn, optimVars, ... % 优化函数，和参数范围 'MaxTime', Inf, ... % 优化时间（不限制） 'IsObjectiveDeterministic', false, ... 'MaxObjectiveEvaluations', 10, ... % 最大迭代次数 'Verbose', 1, ... % 显示优化过程 'UseParallel', false); %% 得到最优参数 NumOfUnits = BayesObject.XAtMinEstimatedObjective.NumOfUnits; % 最佳隐藏层节点数 InitialLearnRate = BayesObject.XAtMinEstimatedObjective.InitialLearnRate; % 最佳初始学习率 L2Regularization = BayesObject.XAtMinEstimatedObjective.L2Regularization; % 最佳L2正则化系数 %% 创建网络， layers = [ ... sequenceInputLayer(f_) % 输入层 lstmLayer(NumOfUnits) % LSTM层 reluLayer % Relu激活层 fullyConnectedLayer(outdim) % 回归层 regressionLayer]; % 参数设置 options = trainingOptions('adam', ... % 优化算法Adam 'MaxEpochs', 500, ... % 最大训练次数 'GradientThreshold', 1, ... % 梯度阈值 'InitialLearnRate', InitialLearnRate, ... % 初始学习率 'LearnRateSchedule', 'piecewise', ... % 学习率调整 'LearnRateDropPeriod', 450, ... % 训练次后开始调整学习率 'LearnRateDropFactor',0.2, ... % 学习率调整因子 'L2Regularization', L2Regularization, ... % 正则化参数 'ExecutionEnvironment', 'cpu',... % 训练环境 'Verbose', 0, ... % 关闭优化过程 'Plots', 'training-progress'); % 画出曲线 %% 训练 net = trainNetwork(vp_train, vt_train, layers, options); %% 预测 t_sim1 = predict(net, vp_train); t_sim2 = predict(net, vp_test); %% 数据反归一化 T_sim1 = mapminmax('reverse', t_sim1', ps_output); T_sim2 = mapminmax('reverse', t_sim2', ps_output); %% 数据格式转换 T_sim1 = cell2mat(T_sim1); T_sim2 = cell2mat(T_sim2); T_sim1=double(T_sim1); T_sim2=double(T_sim2); %% 均方根误差 error1 = sqrt(sum((T_sim1 - T_train).^2) ./ M); error2 = sqrt(sum((T_sim2 - T_test ).^2) ./ N); %% R2 R1 = 1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2; R2 = 1 - norm(T_test - T_sim2)^2 / norm(T_test - mean(T_test ))^2; %% MAE mae1 = sum(abs(T_sim1 - T_train)) ./ M ; mae2 = sum(abs(T_sim2 - T_test )) ./ N ; %% 绘图 %% 测试集结果 figure; plotregression(T_test,T_sim2,['回归图']); figure; ploterrhist(T_test-T_sim2,['误差直方图']); %% 均方根误差 RMSE error1 = sqrt(sum((T_sim1 - T_train).^2)./M); error2 = sqrt(sum((T_test - T_sim2).^2)./N); %% %决定系数 R1 = 1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2; R2 = 1 - norm(T_test - T_sim2)^2 / norm(T_test - mean(T_test ))^2; %% %均方误差 MSE mse1 = sum((T_sim1 - T_train).^2)./M; mse2 = sum((T_sim2 - T_test).^2)./N; %% %RPD 剩余预测残差 SE1=std(T_sim1-T_train); RPD1=std(T_train)/SE1; SE=std(T_sim2-T_test); RPD2=std(T_test)/SE; %% 平均绝对误差MAE MAE1 = mean(abs(T_train - T_sim1)); MAE2 = mean(abs(T_test - T_sim2)); %% 平均绝对百分比误差MAPE MAPE1 = mean(abs((T_train - T_sim1)./T_train)); MAPE2 = mean(abs((T_test - T_sim2)./T_test)); %% 训练集绘图 figure %plot(1:M,T_train,'r-*',1:M,T_sim1,'b-o','LineWidth',1) plot(1:M,T_train,'r-*',1:M,T_sim1,'b-o','LineWidth',1.5) legend('真实值','Bayes-LSTM预测值') xlabel('预测样本') ylabel('预测结果') string={'训练集预测结果对比';['(R^2 =' num2str(R1) ' RMSE= ' num2str(error1) ' MSE= ' num2str(mse1) ' RPD= ' num2str(RPD1) ')' ]}; title(string) %% 预测集绘图 figure plot(1:N,T_test,'r-*',1:N,T_sim2,'b-o','LineWidth',1.5) legend('真实值','Bayes-LSTM预测值') xlabel('预测样本') ylabel('预测结果') string={'测试集预测结果对比';['(R^2 =' num2str(R2) ' RMSE= ' num2str(error2) ' MSE= ' num2str(mse2) ' RPD= ' num2str(RPD2) ')']}; title(string) %% 测试集误差图 figure ERROR3=T_test-T_sim2; plot(T_test-T_sim2,'b-*','LineWidth',1.5) xlabel('测试集样本编号') ylabel('预测误差') title('测试集预测误差') grid on; legend('Bayes-LSTM预测输出误差') %% 绘制线性拟合图 %% 训练集拟合效果图 figure plot(T_train,T_sim1,'*r'); xlabel('真实值') ylabel('预测值') string = {'训练集效果图';['R^2_c=' num2str(R1) ' RMSEC=' num2str(error1) ]}; title(string) hold on ;h=lsline; set(h,'LineWidth',1,'LineStyle','-','Color',[1 0 1]) %% 预测集拟合效果图 figure plot(T_test,T_sim2,'ob'); xlabel('真实值') ylabel('预测值') string1 = {'测试集效果图';['R^2_p=' num2str(R2) ' RMSEP=' num2str(error2) ]}; title(string1) hold on ;h=lsline(); set(h,'LineWidth',1,'LineStyle','-','Color',[1 0 1]) %% 求平均 R3=(R1+R2)./2; error3=(error1+error2)./2; %% 总数据线性预测拟合图 tsim=[T_sim1,T_sim2]'; S=[T_train,T_test]'; figure plot(S,tsim,'ob'); xlabel('真实值') ylabel('预测值') string1 = {'所有样本拟合预测图';['R^2_p=' num2str(R3) ' RMSEP=' num2str(error3) ]}; title(string1) hold on ;h=lsline(); set(h,'LineWidth',1,'LineStyle','-','Color',[1 0 1]) %% 打印出评价指标 disp(['-----------------------误差计算--------------------------']) disp(['评价结果如下所示：']) disp(['平均绝对误差MAE为：',num2str(MAE2)]) disp(['均方误差MSE为： ',num2str(mse2)]) disp(['均方根误差RMSEP为： ',num2str(error2)]) disp(['决定系数R^2为： ',num2str(R2)]) disp(['剩余预测残差RPD为： ',num2str(RPD2)]) disp(['平均绝对百分比误差MAPE为： ',num2str(MAPE2)]) grid