论文研究-基于改进粒子群算法的SVR参数优化选择 .pdf

所需积分/C币:44 2019-08-21 09:24:29 322KB .PDF

基于改进粒子群算法的SVR参数优化选择,梁瑞鑫,穆朝絮,支持向量机的学习性能和泛化能力取决于其相关参数的选取。支持向量机参数的选取在实际应用中是很复杂的,使用传统优化方法比较难
山国科技论文在线 http://www.paper.edu.cn 数有径向基图数k(X2,X)=eXp-x-x/(282和多项式核函数 K(x,x)=[(X,X)+c,q∈N,c20等 基于KKT条件,系数(a1-a;)中只有一部分是非零值,并且训练样本的误差大于或等 于ε,这些训练样本就是支持向量,显然回归函数完全由其决定。在支持向量回归估计算法 中,核函数的类型、核函数的参数以及惩罚系薮都是很重要的参数(核函数的选取决定了输 入空间到特征空间映射的方式,惩罚系数C用于平衡训练误差和模型复杂度),为获得更好 的推广能力有必要对这些参数进行调整。 3.改进粒子群优化(PSO)算法 原始PS○算法是通过解空间中一群粒」来寻优的。但通过分析粒」的速度和位置方程, 我们发现粒子在寻找全局最优和木粒子个休最优的过程中,它们的速度会很快降低到某一区 域中,从而陷入局部最优而无法逃脱。所以,木文提出的这种改进PSO算法的方法是:在 每次迭代中,添加η个新粒子到粒子群中,亡们的速度和位置随机给出。这种方法既保持了 旧冇粒子的寻优过程从而保证算法的收敛性,又能通过添加新粒子而使整个粒子群在更大范 围屮进行寻优 PSO算法中,每个粒子的位置就是一个潜在的解。PSO随机初始化一群粒子和粒子的 速度。设速度v2=(v1,V2,…,VD),决定粒了在搜索空间单位达代次数的位移,其中第i个 粒子在D维解空间的位置为x=(x1,x2,…,xD),个体极值P2=(P1,P2,…,po),全局极 值g=(g1g2,…,8),粒子根据式(6)(7)来更新其第d维(1≤d≤D)速度和位置: vd=wvid +cr (pid -xid)+C,R(ga -xid) (7) xid=xia avid (8) (7)式中,〃,R是均匀分布在(0,1)区问的随机数,c,c2是学习因子,w是惯 性权重,《是控制权重的约束因子。粒子的最大速度vax。Wax,Wmn分别为最大、最小 权重因子,ier为当前迭代次数,iter为总的迭代次数。 iter)( W=w.+ max (9) IlIn ter 改进粒子群优化算法的基本步骤 步骤1确定参数。因了c1和c2,约束因了群体规模N,最大达代次数 terman; 步骤2粒了初始化。随机产生N个粒子的神群。随机产生每个粒子的初始位置和初始 速度,把初始位置作为每个粒子的个体极值位置 priest。比较适应度,把最优的位置作为 粒子群的全局最优位置 grest; 步骤3根据式(6),史新粒子的速度,并把它限制在vm之内; 步骤4根据式(7),更新粒了的位置 步骤5计算每次迭代的粒子的适应值。若粒子的适应值优于原米的个体极值,设置当 前的适应值为个体极佰 pfbest,设置当前位置为个体极值位置 prest;再比较当前的适 3 山国科技论文在线 http://www.paper.edu.cn 应值优于原来的全局极值,设置当前的适应值为全局极值g/best,设置当前位置为全局极 值位置 goest; 步骤6添加n个新粒子到粒子群中,粒子的速度和位置随机给出。 步骤7返回步骤3,直到满足最大迭代次数ier或到达要求的误差,则运算结束 4.基于改进PSO的SVR参数优化 41SVR的参数分析 对于支持向量回归机,不敏感损失系数ε、惩罚系数C、核函数及其参数的优化选择 对回归模型的学习精度和推广能力的好坏起着决定性作用。对于核函数的选择,不同系统的 过程数据进行回归佔计时有最优的核,但在没有足够先验知识时,很多研究1表明,径 向基核函数是比较好的选择。所有本文采用RBF核,则相应的SR模型事先要确定的参数 包括:不敏感损失系数E、惩罚系数C和RBF核的宽度系数y。不敏感损失系数控制着 回归函数对样木数据的不敏感区域的宽度,影响支持向量的数目,其值和样木噪声有密切关 系。ε过大,支持向量数就少,可能导致模型过于简单,学习精度不够;ε过小,回归精度 较高,但可能导致模型过」复杂,得不到好的推广能力。惩罚系数C反映了算法对超岀ε管 道的样木数据的態罰程度,其值影响模型的复杂度和稳定性。C过小,对超岀ε管道的样 木数据的惩罰就小,训练误差变大;C过大,学精度也相应提高,但模型的泛化能力变 差。岩能选取到合适的(C、ε)对,就能得到比铰精确、稳定的回归模型。宽度系数γ反呋 了支持向量之间的相关程度。y过小,支持向量间的联系就比较松弛,学习机器相对复杂, 推广能力得饣到保证;γ太大,支持向量间的影响过强,回归模型难以达到足够的精度。在 SVR中,当γ很小吋,惩罚参数C可以取的小些,以保证模型的推广能力。所有,在参数 选择时要综合考虑这一个参数形成的参数对(C、E、y)。 4,2基于改进PSO算法的SVR参数优化算法 基于以上的改进粒了群优化算法,建立SⅤR参数优化模型,需要优化的参数有不敏感 损失系数、惩罚系数C和RBF核的宽度系数y。每个粒了由二维参数(C、E、y)决定具 位置和速度。适应度两数取SVR模型的推广能力佔计值。推广能力估计是参数选择的基础, 常用的方法有留一法、 k-fold交叉验证法、支持向量率法等等,其中留一法是 k-fold交叉验 证法的特例。考虑k-fold交叉验证法的估计无偏性,本文选用k-fold交叉验证平均误差作为 SVR参数优化的日标值,采用RBF核函数,对不敏感损失系数ξ、惩罚系数C和RBF核的 宽度系数γ进行优化。算法的结构如图1所示 山国科技论文在线 http://www.paper.edu.cn PSO SVR 参数优化选择 趸立叫归模型进 子顶测 行结束条升、 进行比较 计算平均误差 得到最仍值 图1改进PS-SVR的算法结构 改进PSO-SVR参数优化算法具体步骤如卜 步骤1读取样本效据,确定群体规模m和学习因子q1、C2·给定wm、wmin、ierm、 随机产生每个粒子的{、6、%作为粒子的初始位置并产生初始速度 步骤2把整个样本平均分割成k个互不相容的子集S,S2 步骤3把初始位作为每个粒子的个体极佰位置 priest计算 k-fold交叉验证平均误 差作为适应值(根据当前的{C6、%}训练SVR。初始化i=1,S子集作为检验集,其余 集并起来作为训练集,训练SVR;计算S的泛化误差mem(S1-S)2,令i+1,重复循 环直到i-k;讣算k次泛化误差的屮均值得到k-fold交义验证半均误差),把适应值最优的位 置作为粒子群的全局最优位置 grest 步骤4根据式(6)、式(7),更新粒子的位置和速度 步骤5计算每次迭代的粒子的适应倌 步骤6若粒子的适应值优于原来的个体极值,设置当前的适应值为个体极值p/6best, 设置当前位置为个体极值位置 pxbest,否则保留原值 步骤7比较当前的适应值优于原来的全局极值,设置当前的适应值为全局极值 g/best,设置当前位置为全局极值位置 guest,香则保留原值; 步骤8添加两个新粒子到粒子群中,粒子的速度和位質随机给出。 步骤9返回步骤4,直到满足最大迭代次数 iter或到达要求的误差,则终止迭代,此 时得到的全局极值位置 goest4为最佳参数 5.实例与仿真 51典型囗负荷预测模型 典型∏一般选取最大负荷日,也可选取最大峰谷差日,或根据各地区选不同季节的某 代表日。本文选取最大负荷日作为典型日。日负荷受多方面因素的影响,如经济发展水平、 绎济产业结构、电力消费结构、气温气候以及电价政策等,其中经济发展水平和经济产业结 构对负荷的影响最大。根据文献2将影响典型日负荷的因素分为五类,即一产用电、二产 用电、三产用电、居民用电和日负荷率。通过SVR建立多输入单输出的预测模型来预测典 山国科技论文在线 tp://www.paperedu.cn 型日负荷,输入为影响典型口负荷的丘类因素,输岀为典型日负荷。 为避免出现计算饱和现象,要对负荷数据进行归一化处理,使负荷数据在[0,1之间: L(i L(i-Lmin() maX 式中,L(i)表小第i时刻(0<i≤24)由样木年组成的负荷序列;Lmin(i)和Lmx(i)为 该序列中的负荷最小值和最大值:L(1)为归一化后的序列值。 设第t年第时刻的负荷L(i)可由前q个历史负荷预测,基于 PSO-SVM的时间序列模 型可表述为 L(O=9{L(n,L2(O,…,L( 式中,为非线型映射;q为训练样本数目 5.2仿真试验结果 采用某电网1991—2000年典型凵负荷数据作为训练样木进行训练,从而对2001年的典 型日负荷进行预测。样木数目q为10,针对24点时间产生24个 PSO-SVR预测模型。用 Matlab编制仿真程序,粒子群规模设为20,解空间为{C、e、y}3维解空间,加速因子c C2=2,参数的范围为C=[O,10001,E=[0,1],y=[0.01,2.0]。2001年的典型日负荷预 测结果如表1和图2所示。从表1和图2可以看出,采用该改进PSO-SVR参数优化算法的 最大相对误差为3.63%‰而常规SVM算法的最大相对误差为595%,该改进PSO-SVR参数 优化算法的相对误差旾遍比常规SVM算法的相对误差小。可见该算法有匕较理想的预测精 度 表12001年典型日负荷预测结果 改进 PSO-SVM方法 常规SVM方法 时刻 实际值 预测值 相对误差 预测值 相对误差 MW MW /0 MW 01:00 1623.4 0.93 1660.3 -3.25 02:00 1580 1601.2 134 1625.4 -2.87 03:00 1514 1554.2 0.66 1561.2 04:00 1519 1513.8 0.34 1553.7 -2.28 05:00 1529 1534.3 -0.35 1585.1 3.67 06:00 1593 1653.5 3.20 1680.3 5.47 07:00 1639 1662.3 142 1687.3 2.95 2013 2007.3 0.28 2010.1 0.15 09:00 2383 2372.1 0.45 2374.4 0.36 10:00 395 2429.1 1.42 2461.2 2.76 11:00 2563 2519.2 1.71 25150 1.87 12:00 2238 23193 -3.63 2381.3 595 13:00 230 2264.3 1.52 23074 3.47 14:00 2225 2269.5 2.00 2279.2 2.43 15:00 2315 22364 2240.8 3.20 16:00 2266 2277.5 0.51 2295.4 -1.29 山国科技论文在线 http://www.paper.edu.cn 17:00 2417 23954 0.89 2354.5 2445 2443.7 0.05 2451.8 -0.23 19:00 2493 2417.5 3.03 2403.1 20:00 2336 2372.7 -1.57 2390.4 2.33 21:00 2349 2329.8 0.82 2311.5 1.59 22:00 2150 2158.5 0.39 2183.3 1.55 23:00 1825 1876.7 -2.83 1908.1 4.55 24:00 1685 1695.1 0.09 1725.5 2.40 2600 实际合 PS0SM测负荷 sM测负荷 te 2UUu 时刻 图22001年典型日负荷预测曲线 6.结论 攴持向量机的参数选择是一个既有实际价值又有理论意义的硏究课题,是一直以来限制 SVM推广应用的关键所在。本文提出的基于改进PSO算法的SVR参数优化算法,通过试 验仿真结果,可以看出具有比较理想的预测精度和推广能力。如何进一步提高该算法在实际 应用中的速度是我们未来的工作。 参考文献 [VAPNIK VN. The Nature of Statistical Learning TheorylM. New York: Springer-Verlag, 1995 [2] SMOLA A J. SCHOLKOPF B. A tutorial on support vector regression[R]. Neuro COLT2 Technical Report NC2-TR-1998-030. London: Royal Holloway College, University of London, 1998 [3] SANCHEZ A D. Advanced support vector machines and kernel methods[]. Neurocomputing, 2003, 55() 5-20. 14] FRIEDROCJS F, IGEL C. Evolutionary tuning of multiple SVM parameters[C/ Proc of the 12th European Symposium on Artificial Neural Networks. Bruges: European Symposium on Artificial Neural NetworkS(ESANN) 2004:519524. [5] CHAPPELLE O, VAPNIK V, BOUSQUET O, et al. Choosing multiple parameters for support vector machines[]. Machine Learning, 2002, 46(1): 131-160 [6]王志明,莲红,艾海舟.基于支持向量机回归的唇动参数预测[,计算机研究与发展,2003,40(11) 1561-1565 [7] KENNEDY J, EBERHART R Particle swarm optimization[c]i/Proc of IEEE Int Conf on Neural Networks, Perth, Austrilia. Piscataway, NJ: IEEE Press, 1995: 1942-1948 山国科技论文在线 http://www.paper.edu.cn [8]EBERHART R, KENNEY J. A new optimizer using particle swarm theory[C]/Proc of the Sixth International Symposium on Micro Machine and Human Science, Nagoya, Japan. Piscataway, NJ: IEEE Press, 1995: 39-43 [9 VANDEN B F, ENGELBRECHT A P. Training product unit networks using cooperative particle swarm optimizers c]i/Proc of the Third Genetic and Evolutionary Computation Conference (GECCO), San Francisco, USA. Piscataway NJ: IEEE Press. 2001: 126-132 [10]冯兴杰,魏新,等.基于支持向量机的旅客岙吐量预测研究计算机工程,2005,31(14) [l】]杨俊燕,张优云,等.支持向量在机械设备震动信号趋势预测中的应用[西安交通大学学报,205, 39(9) [12]康重庆,夏清,相年德,等,巾长期日负荷线预测的研究[.电力系统自动化,1996,20(6):16-20 Kang Chongqing, Xia Qing, Xiang Niandc, ct al. Thc study onlong-tcrm daily load curvc forecasting J. Automation of Electric Power Systems, 1996, 20(6):1 6-20(in Chinese) Parameters selection of svR based on modified particle swarm optimization algorithm Liang ruixin, Mu Chaoxu College of Electrical Engineering, Hohai University, Nanjing(210098) Abstrac The study performance and generalization performance of support vector machine depend on a proper setting of its parameters Parameters selection for support vector machine is very complex in nature and quite hard to solve by conventional optimization techniques. So, a new kind parameter optimization algorithm of svr is proposed based on modified particle swarm optimization algorithm. Particle swarm optimization is an overall situation reconnaissance method, does not need to consider the model complexity and the variable dimension when select SVR parameters. This modified particle swarm optimization algorithm is modified by added certain new particles at each iterative to broaden search ability, which makes particles free of local optimization. Simulation results show that the modified particle swarm algorithm is valid method for parameters selection ofSVR and the pso-svr model has superior learning accuracy and generalization performance Keywords: particle swarm optimization algorithm; support vector regression; parameter selection 作者简介: 梁瑞鑫(1983年12月),性别男,汉族,陕西武功人。河海人学在读硕士,主要研究方 向为支持向量机与粒子群算法; 穆朝絮(1984年1月),性别女,汉族,安徽淮南人。河海大学在读硕士,主要究方向为 机器学习、模式识别 8

...展开详情
试读 8P 论文研究-基于改进粒子群算法的SVR参数优化选择 .pdf
img

关注 私信 TA的资源

上传资源赚积分,得勋章
    最新推荐
    论文研究-基于改进粒子群算法的SVR参数优化选择 .pdf 44积分/C币 立即下载
    1/8
    论文研究-基于改进粒子群算法的SVR参数优化选择 .pdf第1页
    论文研究-基于改进粒子群算法的SVR参数优化选择 .pdf第2页
    论文研究-基于改进粒子群算法的SVR参数优化选择 .pdf第3页

    试读已结束,剩余5页未读...

    44积分/C币 立即下载 >