%% CNN-LSTM多变量回归预测
%% 清空环境变量
warning off % 关闭报警信息
close all % 关闭开启的图窗
clear % 清空变量
clc % 清空命令行
% restoredefaultpath
tic
%% 加载数据与数据集划分
%% 导入数据
P_train = xlsread('data','training set','B2：G191')';
T_train= xlsread('data','training set','H2：H191')';
% 测试集——44个样本
P_test=xlsread('data','test set','B2:G45')';
T_test=xlsread('data','test set','H2:H45')';
f_ = size(P_train, 1); % 输入特征维度
%% 划分训练集和测试集
M = size(P_train, 2);
N = size(P_test, 2);
%% 数据归一化
[p_train, ps_input] = mapminmax(P_train, 0, 1);
p_test = mapminmax('apply', P_test, ps_input);
[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);
%% 创建元胞或向量，长度为训练集大小；
XrTrain = cell(size(p_train,2),1);
YrTrain = zeros(size(t_train,2),1);
for i=1:size(p_train,2)
XrTrain{i,1} = p_train(:,i);
YrTrain(i,1) = t_train(:,i);
end
% 创建元胞或向量，长度为测试集大小；
XrTest = cell(size(p_test,2),1);
YrTest = zeros(size(t_test ,2),1);
for i=1:size(p_test,2)
XrTest{i,1} = p_test(:,i);
YrTest(i,1) = t_test (:,i);
end
%% 优化算法参数设置
%参数取值上界(学习率，隐藏层节点，正则化系数)
fitness = @fical;
%% 贝叶斯优化参数范围
optimVars = [
optimizableVariable('NumOfUnits', [10, 50], 'Type', 'integer')
optimizableVariable('InitialLearnRate', [1e-3, 1], 'Transform', 'log')
optimizableVariable('L2Regularization', [1e-10, 1e-2], 'Transform', 'log')];
%% 贝叶斯优化网络参数
BayesObject = bayesopt(fitness, optimVars, ... % 优化函数，和参数范围
'MaxTime', Inf, ... % 优化时间（不限制）
'IsObjectiveDeterministic', false, ...
'MaxObjectiveEvaluations', 10, ... % 最大迭代次数
'Verbose', 1, ... % 显示优化过程
'UseParallel', false);
%% 得到最优参数
NumOfUnits = BayesObject.XAtMinEstimatedObjective.NumOfUnits; % 最佳隐藏层节点数
InitialLearnRate = BayesObject.XAtMinEstimatedObjective.InitialLearnRate; % 最佳初始学习率
L2Regularization = BayesObject.XAtMinEstimatedObjective.L2Regularization; % 最佳L2正则化系数
%% 创建混合CNN-LSTM网络架构
% 输入特征维度
numFeatures = f_;
% 输出特征维度
numResponses = 1;
FiltZise = 10;
% 创建"CNN-LSTM"模型
layers = [...
% 输入特征
sequenceInputLayer([numFeatures 1 1],'Name','input')
sequenceFoldingLayer('Name','fold')
% CNN特征提取
convolution2dLayer([FiltZise 1],32,'Padding','same','WeightsInitializer','he','Name','conv','DilationFactor',1);
batchNormalizationLayer('Name','bn')
eluLayer('Name','elu')
averagePooling2dLayer(1,'Stride',FiltZise,'Name','pool1')
% 展开层
sequenceUnfoldingLayer('Name','unfold')
% 平滑层
flattenLayer('Name','flatten')
% LSTM特征学习
lstmLayer(50,'Name','lstm1','RecurrentWeightsInitializer','He','InputWeightsInitializer','He')
% LSTM输出
lstmLayer(NumOfUnits,'OutputMode',"last",'Name','bil4','RecurrentWeightsInitializer','He','InputWeightsInitializer','He')
dropoutLayer(0.25,'Name','drop3')
% 全连接层
fullyConnectedLayer(numResponses,'Name','fc')
regressionLayer('Name','output') ];
layers = layerGraph(layers);
layers = connectLayers(layers,'fold/miniBatchSize','unfold/miniBatchSize');
%% CNNLSTM训练选项
% 批处理样本
MiniBatchSize =128;
% 最大迭代次数
MaxEpochs = 500;
options = trainingOptions( 'adam', ...
'MaxEpochs',500, ...
'GradientThreshold',1, ...
'InitialLearnRate',InitialLearnRate, ...
'LearnRateSchedule','piecewise', ...
'LearnRateDropPeriod',400, ...
'LearnRateDropFactor',0.2, ...
'L2Regularization',L2Regularization,...
'Verbose',false, ...
'Plots','training-progress');
%% 训练混合网络
net = trainNetwork(XrTrain,YrTrain,layers,options);
%% 训练集误差评价
% 预测
YPredtr = predict(net,XrTrain,"MiniBatchSize",numFeatures);
% 结果
t_sim1 =double(YPredtr');
% 反归一化
CNNLSTMoutput_tra=mapminmax('reverse',t_sim1,ps_output);
T_sim1=double(CNNLSTMoutput_tra);
%% 测试集误差评价
% 预测
YPred = predict(net,XrTest,"MiniBatchSize",numFeatures);
% 结果
t_sim2=double(YPred');
% 反归一化
CNNLSTMoutput_test=mapminmax('reverse',t_sim2,ps_output);
T_sim2=double(CNNLSTMoutput_test);
toc
%% 测试集结果
figure;
plotregression(T_test,T_sim2,['回归图']);
figure;
ploterrhist(T_test-T_sim2,['误差直方图']);
%% 均方根误差 RMSE
error1 = sqrt(sum((T_sim1 - T_train).^2)./M);
error2 = sqrt(sum((T_test - T_sim2).^2)./N);
%%
%决定系数
R1 = 1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2;
R2 = 1 - norm(T_test - T_sim2)^2 / norm(T_test - mean(T_test ))^2;
%%
%均方误差 MSE
mse1 = sum((T_sim1 - T_train).^2)./M;
mse2 = sum((T_sim2 - T_test).^2)./N;
%%
%RPD 剩余预测残差
SE1=std(T_sim1-T_train);
RPD1=std(T_train)/SE1;
SE=std(T_sim2-T_test);
RPD2=std(T_test)/SE;
%% 平均绝对误差MAE
MAE1 = mean(abs(T_train - T_sim1));
MAE2 = mean(abs(T_test - T_sim2));
%% 平均绝对百分比误差MAPE
MAPE1 = mean(abs((T_train - T_sim1)./T_train));
MAPE2 = mean(abs((T_test - T_sim2)./T_test));
%% 训练集绘图
figure
%plot(1:M,T_train,'r-*',1:M,T_sim1,'b-o','LineWidth',1)
plot(1:M,T_train,'r-*',1:M,T_sim1,'b-o','LineWidth',1.5)
legend('真实值','bayes-CNN-LSTM预测值')
xlabel('预测样本')
ylabel('预测结果')
string={'训练集预测结果对比';['(R^2 =' num2str(R1) ' RMSE= ' num2str(error1) ' MSE= ' num2str(mse1) ' RPD= ' num2str(RPD1) ')' ]};
title(string)
%% 预测集绘图
figure
plot(1:N,T_test,'r-*',1:N,T_sim2,'b-o','LineWidth',1.5)
legend('真实值','bayes-CNN-LSTM预测值')
xlabel('预测样本')
ylabel('预测结果')
string={'测试集预测结果对比';['(R^2 =' num2str(R2) ' RMSE= ' num2str(error2) ' MSE= ' num2str(mse2) ' RPD= ' num2str(RPD2) ')']};
title(string)
%% 测试集误差图
figure
ERROR3=T_test-T_sim2;
plot(T_test-T_sim2,'b-*','LineWidth',1.5)
xlabel('测试集样本编号')
ylabel('预测误差')
title('测试集预测误差')
grid on;
legend('bayes-CNN-LSTM预测输出误差')
%% 绘制线性拟合图
%% 训练集拟合效果图
figure
plot(T_train,T_sim1,'*r');
xlabel('真实值')
ylabel('预测值')
string = {'训练集效果图';['R^2_c=' num2str(R1) ' RMSEC=' num2str(error1) ]};
title(string)
hold on ;h=lsline;
set(h,'LineWidth',1,'LineStyle','-','Color',[1 0 1])
%% 预测集拟合效果图
figure
plot(T_test,T_sim2,'ob');
xlabel('真实值')
ylabel('预测值')
string1 = {'测试集效果图';['R^2_p=' num2str(R2) ' RMSEP=' num2str(error2) ]};
title(string1)
hold on ;h=lsline();
set(h,'LineWidth',1,'LineStyle','-','Color',[1 0 1])
%% 求平均
R3=(R1+R2)./2;
error3=(error1+error2)./2;
%% 总数据线性预测拟合图
tsim=[T_sim1,T_sim2]';
S=[T_train,T_test]';
figure
plot(S,tsim,'ob');
xlabel('真实值')
ylabel('预测值')
string1 = {'所有样本拟合预测图';['R^2_p=' num2str(R3) ' RMSEP=' num2str(error3) ]};
title(string1)
hold on ;h=lsline();
set(h,'LineWidth',1,'LineStyle','-','Color',[1 0 1])
%% 打印出评价指标
disp(['-----------------------误差计算--------------------------'])
disp(['评价结果如下所示：'])
disp(['平均绝对误差MAE为：',num2str(MAE2)])
disp(['均方误差MSE为： ',num2str(mse2)])
disp(['均方根误差RMSEP为： ',num2str(error2)])
disp(['决定系数R^2为： ',num2str(R2)])
disp(['剩余预测残差RPD为： ',num2str(RPD2)])
disp(['平均绝对百分比误差MAPE为： ',num2str(MAPE2)])
grid
回归预测：BO-CNN-LSTM.zip （15个子文件） 
Bayes-CNN-LSTM10.png 37KB
BO-CNN-LSTM 
fical.m 2KB initialization.m 427B main.m 7KB calulateE.m 1KB
data.xlsx 36KB Bayes-CNN-LSTM2.png 27KB Bayes-CNN-LSTM6.png 43KB Bayes-CNN-LSTM9.png 40KB Bayes-CNN-LSTM7.png 33KB Bayes-CNN-LSTM4.png 85KB Bayes-CNN-LSTM3.png 37KB Bayes-CNN-LSTM5.png 64KB Bayes-CNN-LSTM8.png 32KB Bayes-CNN-LSTM1.png 38KB资源评论
qq_455409372023-06-13非常棒的资源！感谢大佬分享！ #完美解决问题 #运行顺畅 #内容详尽 #注释完整
kefu125hao22023-09-16资源有一定的参考价值，与资源描述一致，很实用，能够借鉴的部分挺多的，值得下载。- m0_646241492023-04-28资源和描述一致，质量不错，解决了我的问题，感谢资源主。
Matlab科研工作室2023-03-22感谢大佬分享的资源给了我灵感，果断支持！感谢分享~
