论文研究-基于迁移学习的径向基函数神经网络学习.pdf

所需积分/C币:10 2019-09-08 03:08:18 582KB .PDF
90
收藏 收藏
举报

现实场景中存在很多小样本量数据集而且多有失真,传统神经网络在处理这类数据时泛化能力较差,不能达到预测数据或分类的目的。迁移学习可通过学习数据集A有用的知识对与其相关但不同正态分布的小样本数据集B进行辅助学习,因此提出了具有迁移学习能力的神经网络,以实现更好的分类或逼近效果。以基于ε-不敏感准则和结构风险的径向基神经网络(RBF)为基础构造了迁移径向基神经网络(T-RBF-NN)。通过加噪音数据集实验以及真实数据集实验验证加入迁移学习的神经网络在小样本情况下比传统神经网络具有更好的泛化性和鲁棒性。
016,52(5) Computer Engineering and4 pplications计算机工程与应用 Advanced Research Projects Agency,DARA)的信息处尽量逼近测试数据。参数λ使得最终学习得到的模型 理技术办公室赋予了迁移学习一·个新的使命:迁移学习在两者之间达到一个平衡。参数λ可人工设定,也可通 系统能够对先前任务中学到的知识和技巧进行识刿,并过机器学习中常川的交叉验证策略选择一个合适的 将它应用到一个全新的任务中去。迁移学习适应的场值。式(12)的拉格朗口函数为 景非常多,针对不冋场景,迁移学习可以被分为很多不 同的类别,例如:样本迁移",参数迁移,分级迁移"和 L(p…6,5},,,0)=(+)+p2P2+ 特征表述迁移等。其中样本迁移最为直接也是最为 A(p。D0)(pp)+a(,-px--;)+ 便捷的迁移学习方式之一,它比较适用于目标任务仅仅 a(px s-y2-E-) (15) 拥有很少一部分的训练样本,而源城的训练样本或是类其中以,以为拉格朗口乘子,以>0,a≥0 别标签数量充足,且源域和目标域相似性较高的情况。 根据现有条件,本文运用样本迂移完成实验。 (1)迁移学习是从源域中荻得与目标域相关的知b原.“、(+2)1-21-∑(-a1)=0 迁移学习的目的 识,利用这些知识去提高学小目标任务的效率 (2)现实场景数据多有样本不足或失真等问题,为 8(1+24)180(+2A)台 ∑(x1-a,)x 了克服这样一个问题,需要得到历史知识的帮助。 33算法描述 般而言,迁移学习的有效性可以从下面三点去 本节给出迁移RBF神经网络的具体训练步骤。 判断 历史总结阶段 (1)H标任务学习的基点是否有因为迁移学习的介 步骤Ⅰ设置隐藏层神经元数M,正则参数τ。 入而得到提高 步骤2利用FCM算法得到数据源域的中心点参数 (2)目标任务的学习时间是否有减少。 和宽度参数 (3)对于最终的学小效果而言,迁移学丬是否有让 步骤3求解得到拉格朗日乘子λ 目标任务得到个更好的学习结果。 上述三个标准被用于判断迁移学习是否适合当前 步骤4根据步3得到的,4求得权值p2o 场景。如果加入迁移学习后学习效果并没有收善,则迁 迁移学习阶段 移学习不适合用于当前场景。若较之不加迁移学习效 步骤5设置隐藏层神经元数M,=M,正则参数τ,λ。 果变差,则产生了负迁移。迁移学习中的一个重要问题 步骤6利用历史知识,通过迁移学习求得p2 也就是该如何找到并利用与目标任务相似的源域,从而 (1+2x) P ;-.)x。; 在避免负迁移的同时提高正迁移的效果。 32融合迁移知识构造山标函数 步骤7根据学丬后的到的权值生成迁移RBF神经 通过传统RBF神经网络可得到有川知识叫:隐藏层网络 和输出层之间的权值p隐藏层中心点参数c1和宽度 参数。可把它们作为历史知识用于迁移学习,记历史4实验研究 知识权值n2为Po。为了从历史知识进行有效的迁移41合成数据加噪声实验 学习,本文引入新的目标函数: 相关数据集生成函数的定义如表1。噪音取0.75 0.9,5,10,15,20,30。N是源域数据样本的个数,生成源 min L(p 一 域数据1051个,目标域训练集样本176个,并在训练集 0mm(p,,5,)+Onn(n,p0)(12)加上随机噪音,生成测试集样本106个。把源城得到的 y:-Pgrgi<e+s, 历史知识应用于目标域的学习中,实验结果如表2所 V- Paxi <6+5-'s≥0,>0,i 表1和关数据集生成数的定义 函数 功能 其中: y-f(x)-xx(sinx+cosx)xel-l1,10产生源域数据 0.85×F 2+5+P,p (13) 产生目标域数据 y-y+rand(N, 1)xiaoyin p-pg)(p-p (14) 由表2可知,基于-不敏感准则和结构风险的神经 表示利用当前缺大或者加噪声的数据进行训练学习,网络(RBF)和ELM,LS-RBF随着噪音的均方误差逐渐 sTory 表示利用历史知识进行迁移学习。这使训练结果增大。由十目标域通过加噪音模拟真实情景,理论上在 郑雪辉,王士同:基于迁移学习的径向基函数神经网络学习 2016,52(5) 表2合成数据集加噪声实验 T-RBF RBE ELM LS-RBF 噪音 均值 标准差 均值标准差均值 标准差 均值标准差 0.750.19841.25E-050.93570.00920.06456.55E-050.0696146E-17 0.90.l9831.08H-0)5097780).0)5390.03760.0001170.04 6.97E-1 50.19511.1E-051.44570.14510.77840.0005370.78072.28E-16 100.2041791E-061.59570.16540.70550.0005380.71323.42E-05 150.19176.18E-061.85930.02102.43l50.0008412.433 98E-16 00.18611.39E-054.68 0.0309741620.0006047.41151.79E-15 500.21455.28-065.22980.03397.48330.001397749373.57L-15 500.15574.32E-0611.94400.080266.72700.00422966.76407.14E-14 日标域测试集 日标域测试集 TRBF算 RBF算法 0 5 10 100120 020406080100120 (a)1RB实验结果 (b)RBF算法实验结果 目标域测试集 目标域测试集 ELM算法 S-RBF算法 120 020406080100120 (c)ELM算法实验结果 (d)LS-RBF算法实验结果 图2日标或测试集在不同算法中的比较 噪音逐渐增大的情况下,逼近敚果应越来越差。迁移学酒两个数据集信息,每个数据集的其屮输入参数为: 习通过对源域的学刁得到有用的知识,例如隶属度,中 fixed acidity, volatile acidity, citric acid, residual sugar, 心点等,用于辅助目标域的学习。出表2实验结果可 chlorides, free sulphurdioxide, density,pH, sulphates 知,加入迁移学习的径向基神经网络( T-RBE-NN)均方 alcoho输出参数是酒的质量:quay,它的范围是0-10, 误差比较稳定,效果比不加迁移的3个传统神经网终要质量越好越接近10。其中红酒有1599个样本,白酒有 好由此可见迁移学习使算法泛化性更强,逼近效果更好。4898个样本。为计算方便对所有样本数据进行归一化 42预测红酒质量集实验 把迁移RBF神经网络算法用于UCI提供的真实数 160个样本作为训练集,剩余90%共1439个样本作为测 试集,用以检测迁移算法是否也能用于真实场景。本文 据集,评价标准仍为:运行TRBF(迁移径向基神经网研究加入迁移的学习方法较之于传统学习方法是否能 络),RBF(传统机器学习方法径向基神经网络),ELM (传统机器学习方法极限学习机)各10次,记录每次的更好地预测酒的质量。实验结果如表3所小 花3预测红酒质量实验 均方差,然后对这10个均方差求均值和标准差,均值越 T-RBF RBF ELM 小效果越好,标准差越小说明结果越稳定。这里用UCI 均值 0.04860.27280.1219 的 Wine Quality数据集来做实验,其中记录了红酒和白 标准差73E-180.14510.0690 10 016,52(5) Computer Engineering and Applications计算机工程与应用 表4字母识别实验结果 源域月标域训练集样本个数1-RBF准确率RH准确率1M准确率 LB 0.7278 0.7167 LB 0.8938 0.7813 0.7188 LE 0.86 LD LH 0.6622 0,6750 当白酒样本很少的时候,传统的神经网络不能够更问题进行讨论提出了迁移RBF神经网络建模方法,并 好地预测其数据,这使现实应用时出现偏差,已有的红且通过文献[15-17的理论思路进行严格的数学分析 酒样本与白酒有相似之处,但属亍不同分布数据集。迁通过实验可说明,在现实场景,已知样本数量很少,源域 移学习可应用于不同正态分布的数据集,从源城中提取与目标域相似但正态分布不同的情况下,加入迁移学习 可用于目标城的历史知识,帮助小样本的数据得到更好的算法能更好地预测数据和分类,有效地解决传统神经 的预测效果.由表3可以看出,加入迁移学习的RBF神网络逼近和分类小样本数据集时泛化性下降的缺点,并 经网络有更好的泛化性,在小样本的情况下更能逼近测且在噪声增加情况下显示了更好的鲁棒性。通过两个 试集数据,与上节合成数据集的结果基本一致因此认真实数据实验也说明本文的方法可用于现实场景,较之 为迁移学习可以用于真实场景数据,并且较之传统的学传统的学习算法实用价值较高。 习算法有更强的泛化性 4.3字母识别实验 参考文献: 针对 etter-recognition数据集,以B,C,D,F,H这三[1 Perkins d n, Salomon g. Transfer of learning[J].Interna 字母为正样本数据,以J到7的字母为负样本数据。 tional Encyclopedia of Education, 1992, 11: 6452-6457 随机取B样本200个,随机取J到Z字母样本100个,构[2] Pan s j. Yang o. A survey on transfer learning].EE 成源域,记为LB;随机取D样本100个,随机取J到Z字 Transactions on Know ledge and Data Engineering, 2009 母样本100个,构成目标域,记为LD。分别取LD数据 22(10):1345-1359 集20个(其中D样本10个,小Z样本10个),40个(其中(31ngsR, un, IzutanI E Neuro-fuzzy and soft D样本20个,JZ样本20个)样本作为目标域训练集,其 computing[M]. Upper Saddle River, NJ: Prentice-Hall, 1997 125-134 余样本作为测试集 [4 Wang s T Neural fuzzy system and its application [M] 与上面取样本方法一致,得到数据集LC,LE,LD Beijing Beijing University of Aeronautics and Astronau LH。其中LE作为源城,LC作为目标域,作为一组。LD tics press, 1998:198-224 作为源域,LH作为目标城,作为一组。取20个目标城 5 Vapnik VStatistical learning theory M.New York: Wiley 样本作为训练集(正样本10个,负样本10个),其余180 1998:256-396 个样本作为测试集。实验结果如表4所示。 [6 Chung F L, Deng Z H, wang S T From minimum enclos 传统神经网络在小样本训练情况下,分类效果往往 ing ball to fast fuzzy inference system training on large 不好,如RBF,ELM实验。由于迁移学习要提取源域的 datasets[J.IEEE Transactions on Fuzzy Systems, 2009, 17 知识用于辅助小样本目标域的学习.因此要求源域和目 (1):173-184 标域有一定的相似性,否则提取的源域知识不但不能指[ Huang G B, Siew C K Extreme learning machine with 导目标域的学习,甚至可能产生负迁移。由表4可知, randomly assigned Rbf kernels[J].Int J Inf Technol 出于B与D有一定的相似性,因此可通过学习B的知 2005,11(1) 识,指导D样本的判断,加入迁移学习的算法TRBF能1王 [8]王士同基于a不敏感准则和结构风险的鲁棒径向基函数 够更好地识别出未知的字母。但不是所有的字母之问间 神经网络学丬J电子与信息学报,2012 都能运用迁移学习如字母C与E,D与H,相似性很低 [9 Bickel S, Bruckner M, Scheffer TDiscriminative learning for differing training and test distributions[C]/Proceed 运用迁移学习可能不能达到满意的效果,甚至准确率会 ings of the 24th International Conference on Machine 低于传统的机器学刁算法。 Learning, 2007: 81-88 [10 Bonilla E, Chai K M, Williams C Multi-task Gaussian 5结论 process prediction[c]aNnual Conference on Neural Infor 本文通过引入迁移学习针对已有少量样本数据集 mation Processing Systems, 2008: 153-160 情况下传统神经网络学习方法准确率低,逼近效果差的 (下转21页)

...展开详情
试读 5P 论文研究-基于迁移学习的径向基函数神经网络学习.pdf
立即下载
限时抽奖 低至0.43元/次
身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 至尊王者

关注 私信
上传资源赚钱or赚积分
最新推荐
论文研究-基于迁移学习的径向基函数神经网络学习.pdf 10积分/C币 立即下载
1/5
论文研究-基于迁移学习的径向基函数神经网络学习.pdf第1页

试读结束, 可继续读1页

10积分/C币 立即下载