论文研究-多任务LS-SVM在时间序列预测中的应用.pdf

所需积分/C币:50 2019-09-08 00:22:21 951KB .PDF
1
收藏 收藏
举报

针对单任务时间序列中存在的信息挖掘不充分、预测精度低等问题,提出了一种基于多任务最小二乘支持向量机(MTLS-SVM)的时间序列预测方法。该方法将多个时间序列任务同时进行学习,使得在训练过程中任务之间能够相互牵制起到归纳偏置作用,最终有效提高模型的预测精度。首先,利用相邻时间点之间的密切相关性,构造多个相邻时间点的学习任务,然后将每个任务对应的数据集同时训练MTLS-SVM模型并将其用于预测。将该方法用于几个时间序列数据集并与单任务LS-SVM方法相比,实验结果表明该方法具有较高的预测精度,验证了方法的可行性和有效性。
贾松达,庞宇松,阎高伟:多任务LS-SM在时间序列预测中的应用 2018,54(3)235 在训练过程中,需要优化的参数有正则化参数λy核参+m一起作为预测输出,以起到归纳偏置的作用,改进预 数a。相比于单任务LS-SVM, MTLS-SVM中增加了正测精度。时间序列中构造的单任务与多任务如图3所示。 则化参数A,从式(3)中可以看出,该正则项作用于每个 单任 任务根据中创含的公共信息以及中包含的定任( t-1 t +1 信息可知,参效入起到了任务之间归纳偏置的作用从 而提高了模型的泛化性能 任务2(-n-)…(-1)(:)(+2 3基于MTLS-SⅤM的预测模型 任务m 本文提出的基于MTLS-SVM的时间序列预测模型 多任务学习 t+1 包括数据预处理任务构造和模型训练三个部分,如图2 所示 m个任务 时间序列 图3时间厅列中的单任务与多征务 数据顸处理 时间序列预测策略有多种,采用图3屮所小的直接 策略进行单任务预测,针对m个任务,将会构造出m个 任务1 任务2 任务 m 不同的预测模型,分別输出相应的估计值。而采用多任 训练集1 训练集2 训练集m 务学习方法只需构造一个多输出预测模型,得到m个 任务的输出值。根据时间序列预测目标,选取适当的m 个任务,并构造每个任务相应的训练集。 33模型训练 侧试集输入Mm输出计值 将m个学习任务相对应的训练集同时训练MTLS 图2MTLS-SVM时间序列预测模型 SVM模型。山于这些任务同时对相邻的时刻值进行预 测,因此,它们之间是平行关系而且有紧密的相关性。 31数据预处理 在训练的过程中,任务之间能够相互牵制起到归纳偏置 设时间序列{y1y2…y",ym,…y}为等间隔采样的作用,从而提高模型的泛化性能。基于 MTLS-SVM 所得,其中表示当前时刻,时间序列预测就是根据历的时间序列预测步骤如下: 史采样值估计+h时刻的值,即,如下式所示: 输入:时间序列y={y1,y2…y 输出:未来时刻的估计值, 式中,h为预测步长,若h=1,则为单步预测,若h>1, 步骤1数据预处理,将原始时间序列y归一化后, 则为多步预測。f为预测模型,n为时间延时。将采根据预测需要确定不同的h,并按照表列出的规则构 集到的观测值{y,y2:…,yny,…y}归一化并构造数造数据集样本 据集样本,如表1所示。 步蝾2根据目标估计值构造m个学习任务 表1构造的数据集样本 t+1,t+2…,t+m(m≤h),并针对每个任务对应的输出 输出 输入 +,分别从数据集屮选择样本组成m个训练集 步骤3将m个任务的训练集同时训练 MTLS-SVM yn+h-1 yn+1, y ys, y 模型,得到最终的预测模型。 步骤4将m个任务相应的测试样本输入训练好的 y-1y--1y2--2:'’,yt-h-n+1,yt-i-n MILS-SM模型,可同时得到m个估计值,最后从中选 择需要的估计值y 32任务构造 将多任务学习方法用于时间序列预测的本质在于4实验结果及分析 相邻时间点的密切相关性,传统的单任务学习方法使用 本文实验选取的三个数据集来自阿尔托大学理学 前n个时刻的观测值预测+h(≥1)时刻的值,模型输院的机器学习应用研究组,该研究组提供的时间序列 出为单值。而使用多任务学习方法可以将κ+1,t+2,…,数据集均采自实际环境,反应真实的物理现象。这三个 Applicationsofmachinelearninggrouphttp:/research.icsaaltofi/eimlidatasets.shtml 2362018,54(3) Computer Engineering and Applications计算机工程与应用 数据集具体的描述为: Sunspot数据集包含了从1700年 300 真实值 到1987年每年的太阳黑了数量,数据集规模为28 250 LS-SVM ESTSP2007数据集取自2007年时间序列预测竞赛欧洲 e- MTLS-SVM 研讨会,数据集规模为875; Darwin数据集为l882年至 1998年达尔文海平面的月气压值,数据集规模为 1300。具体的数据集划分如表2所示。实验分别从 l-step,3-step和5-step不同的步长比较了单任务LS SVM和MTIS-SVM的预测精度。为了高效训练模型, 单任务LS-SM模型和MTLS-SVM模型均采用交叉验 证法训练,并使用网格搜索法对参数λy和寻优。 时间 误差指标采用均方根误差(RMSE)与平均绝对误差 (a)Sunspot (MAF),如式(6)和(7)所示,式中,y表示真实值, 表示预测值,N表示预测点数。 (y;-y2)2 24 RMSE MAE (7) 真实值 -LS-SVM -eMILS-SVM 表2实验数据集划分 01020304050607080 时间序列训练集大小测试集大小 (bEStSP2007 上SISP2007 800 真实值 Darwin l200 9—LS-SVM e MTLS SVM 时间序列预测可以分为单步和多步预测两种情况 在使用MILS-SVM模型进行单步预测时,采用直接策 过 略可将相邻的3个时刻作为平行预测任务,构建各自的 训练集。三个数据集分別在单任务LS-SⅥM和MILS SⅥM上的1-step的预测结果如图4所示。三个数据集 上的1step预测误差如表3所示,其中粗体表示误差最 小值,最后一列表示颀测精度的提高程度。从表中可以 40 100 时间月 看出,三个数据集均在MILS-SVM模型中获得了较小 的预测误差 图4单征务 LS-SVM和 MTLS-SVM方法l-step预测结果 表31-step预测误差对比结果 时间序列的多步预测是一项有挑战性的任务,这是 数据集误差LS- SVM MTLS-SM精度提高 由于随着步长的增大,时间间隔增大,序列之间的关联 RMSE 26.170 23.700 性降低,对未来时刻取值的决策能力把握不足,使得预 MA18.82 17.380 测精度降低。为了验证 MTLS-SVM在多步预测中的有 RMSE 0.368 0.242 34 ESISPZO07 MAE 0.284 0.197 31 效性,实验取3-step和5-step两个不同的步长分别作对 RMSE 0.869 比,实验结果如表4和表5所示。从表中可以看出,在多 0.875 0.873 步预测中,MILS-SVM的预测精度仍高于单任务L 表43-step预测误差对比结果 表55-step预测误差对比结果 数据集误差 LS-SVM MTLS-SVM精度提高/数据集误差LS- SVM MTLS-SVM精度提高 RMSE44.760 SuNspot Sunspot MAE31060 24.010 MAE32.310 25.450 RMSE 0.670 0.609 RMSE 0.975 0.652 33 上SIS2007 ESISP200Z 0.521 0,449 MAE 0.793 RMSE MAF 1082 0.997 MAE 1.129 1.076 贾松达,庞宇松,阎高伟:多任务LS-SM在时间序列预测中的应用 2018,54(3)237 SVM,预测误差均有降低,这是因为在多任务学小过程[4] Khandelwal. hikari R, Verma G. Time series forecast 中,多个相关任务同时进行训练,务之间相互起到了 ing using hybrid ARIMA and ANN models based on 归纳偏置的作用,从而提高了每个任务的预测精度。 DWt decomposition[J]. Procedia Computer Science, 2015 综上所述,与单任务LS-SVM方法相比,MLS 48:173-179 sWM在单步预测和多步预测中均取得了较高的预测精1 n Heeswijk M,ey, indh-Knuutila I, al. Adap 度,验证了该方法的有效性。此外,在对于类似 Sunspot tive ensemble models of extreme learning machines for 数据集类型的小样本集缺乏足够的先验知识。因此, time series prediction[ C]!International Conference on 传统的单任务学习方法会遇到泛化能力不强的问题,而 Artificial Neural Networks. Berlin Heidelberg: Springer 2009:305-314 基于多任务的学习方法在不增加输入信息的情况下,同 L6] Gui Bin, Wei Xianghe, Shen Qiong, et al. Financial time 时关注多个任务的输出,能够从输入端得到更多的信 eries forecasting using support vector machine[C] 息,训练出来的模型也具备了获取这些信息的能力,而 014 Tenth International Conference on Computational 这些信总又能够很好地辅助人们所关注的任务,进而提 Intelligence and Security, 2014: 39-43 高了模型的泛化性能。 [7] Sapankevych N I, Sankar RTime series prediction using 从上述的实验结果中可以看出,传统的单仟务时间 support vector machines: A survey[J. IEEE Computational 序列预测方式可能忽略了隐藏在任务之间潜在的、丰富 Intelligence Magazine, 2009, 4(2): 24-3 的、有用的训练信息,而多任务学习可以同时完成对多1 8] Kaytez I, Taplamacioglu M(,camt, et al. Forecasting 个训练任务的学习,它充分地利用了包含在任务间的训 electricity consumption: A comparison of regression anal 练信息,以改进学习器的泛化性能,使得MTIS-SVM模 ysis, neural networks and least squares support vector 型具有较高的预测精度。 achines[]. International Journal of Electrical Power Energy Systems, 2015,67: 431-438. 9 Van Gestel T, Suykens J A K, Baestaens D E, et al 5结束语 Financial time series prediction using least squares sup- 木文提出了一种基于 MTLS-SVM的时间序列预测 port vector machines within the evidence framework[J] 方法,利用相邻时间点之间的相关性,构造多个相邻时 IEEE Transactions on Neural Networks, 2001, 12(4) 间点的学习任务,并基于多个任务的数据集训练LS 809-821 SⅥM模型。该方法利用多个学习任务之间的归纳偏置[10] Ye Meiying, Wang Xiaodong. Chaotic time series predic 作用,提高了预测模型的泛化性能通过在三个数据集 tion using least squares support vector machines[J] 上的实验结果表明,与传统的单任务LS-SM模型相 Chinese Physics, 2004. 13(4): 454. 比,该方法获得了较高的预测精度。 [111 Caruana R Multitask learning[M /Learning to learn. US: 将多仟务学习与其他主流智能模型结合并用于时 Springer, 1998: 95-133 间序列预测中,是下一步的研究方向,同时,如何快速有 [12 Xu Shuo, An Xin, Qiao Xiaodong, et al. Multi-output 效地优化模型参数,进一步提高模型的泛化性能同样值 least-squares support vector regression machines[J Pattern Recognition Letters. 2013. 34(9): 1078-1084 得研究。 [13 Fiot J B, Dinuzzo F Electricity demand forecasting by multi-task learning[J].IEEE Transactions on Smart Gid 参考文献 15 ] Gudmundsson s, Runarsson'P, Sigurdsson S. Support[4]邵蔚元,郭跃飞.多任务学习及卷积神经网络在人脸识别 vector machines and dynamic time warping for time 中的应用计算机工程与应用,2016,52(13):3237 series[C]/2008 IEEE International Joint Conference on [15] Xu Shuo, An Xin, Qiao Xiaodong, et al. Multi-task least Neural Networks, 2008: 2772-2776 quare support vector machines[J Multimedia Tools [2 Peng H W,wu S F, wei CC,et al.Time series ford and Applications, 2014, 71(2): 699-715 casting with a neuro-fuzzy modeling scheme[J] Applied [16 Wu S F, Lee S J Employing local modeling in machine Soft Computing, 2015, 32: 481-493 learning based methods for time-series prediction[J] [3 Yolcu U. Egnioglu E, Aladag C H A new linear nonlinear Expert Systems with Applications, 2015, 42(1): 341-354 artificial neural network model for time series fore- [17 Arlot S, Celisse A. A survey of cross-validation proce- casting[J]. Decision Support Systems, 2013, 54(3): 1340 dures for model selection[]. Statistics Surveys, 2010, 4: 1347. 40-79

...展开详情
试读 5P 论文研究-多任务LS-SVM在时间序列预测中的应用.pdf
立即下载 低至0.43元/次 身份认证VIP会员低至7折
一个资源只可评论一次,评论内容不能少于5个字
weixin_38744375 你的留言是对我莫大的支持
2019-09-08
  • 至尊王者

    成功上传501个资源即可获取
关注 私信 TA的资源
上传资源赚积分or赚钱
    最新推荐
    论文研究-多任务LS-SVM在时间序列预测中的应用.pdf 50积分/C币 立即下载
    1/5
    论文研究-多任务LS-SVM在时间序列预测中的应用.pdf第1页

    试读结束, 可继续读1页

    50积分/C币 立即下载 >