没有合适的资源?快使用搜索试试~ 我知道了~
电子信息科学与技术毕业论文-数据流中概念漂移检测与分类方法研究.doc
1 下载量 13 浏览量
2023-07-08
17:17:18
上传
评论
收藏 134KB DOC 举报
温馨提示
试读
27页
电子信息科学与技术毕业论文-数据流中概念漂移检测与分类方法研究.doc
资源推荐
资源详情
资源评论
数据流中概念漂移检测与分类方法研究
摘要
由于现有各种机器学习算法本质上都是基于一个静态学习环境
而以尽量保证学习系统泛化能力为目标的一个寻优过程,概念漂移数
据流分类给机器学习带来了巨大挑战。从数据流与概念漂移、概念漂
移数据流分类研究的发展与趋势、概念漂移数据流分类的主要研究领
域、概念漂移数据流分类研究的新动态四个方面展开了分析,并分析
了当前概念漂移数据流分类算法存在的问题。
关键词:大数据;概念漂移;增量学习;适应学习;数据流
目 录
引言................................................................................................................................1
1 数据流与概念漂移....................................................................................................2
2 概念漂移数据流分类研究的发展与趋势................................................................4
3 概念漂移数据流分类的主要研究方法....................................................................5
3.1 概念漂移数据流学习器的构建.....................................................................5
3.2 概念漂移数据流学习理论的研究.................................................................7
3.3 概念漂移的检测.............................................................................................8
3.4 概念漂移数据流分类研究使用的数据集.....................................................9
4 概念漂移数据流分类研究的新动态......................................................................10
4.1 概念漂移数据流中的类别不平衡学习问题................................................10
4.2 概念漂移数据流中的概念重复学习问题...................................................11
4.3 概念漂移数据流中的半监督学习与主动学习问题...................................11
5 存在的问题..............................................................................................................13
6 结束语......................................................................................................................14
参考文献......................................................................................................................15
1
引言
在社会生产和生活实践中,有一类问题是数据所包含的概念
[1]
可
能随时间而变化。自动化生产线上,相近原因的问题产品会连续出现,
然后问题产品的特征也随之发生变化;商务活动中,顾客的购买兴趣
随时间而变化;网络安全中,网络的访问模式随用户不同而变化;社
交媒体上,用户的实际行为随其注册位置而变化。这些问题的共同特
点是:不断产生的数据形成流;数据流没有终点;数据流中数据包含
的概念随时可能产生变化。数据流中这种概念的变化在本文中被称为
概念漂移
[2]
。概念漂移要求学习系统能尽早地检测到概念漂移,并对
自身进行适应概念漂移的调整,以对不断到来的数据尽可能地正确判
断。
概念漂移问题给机器学习带来了巨大的挑战。目前各种人工学习
系统的构造算法在本质上都是基于一个静态学习环境而以尽量保证
学习系统泛化能力为目标的一个寻优过程,所以现有各种机器学习算
法本质上都不适应进行概念漂移数据流学习。这种不适应体现在:计
算模型或者缺乏获取新知识的能力,或者不能保持原本学到的知识
[3]
。
自“概念漂移”(concept drift)在 1986 年由 Schlimmer 和 Granger
首次提出后
[2]
,国内外众多研究人员对概念漂移数据流分类展开了深
入研究。Kuncheva
[4]
、Tsymbal
[5]
、王涛
[6]
、Zliobaite
[7]
、Hoens
[8]
和
Gama
[9]
等先后从各自角度对概念漂移数据流分类研究进行了很好的
文献综述。与已上这些综述相比,本综述具有如下特色之处:剖析了
2
概念漂移数据流分类研究产生并发展的脉络;包含了概念漂移数据流
分类的最新研究动向——概念漂移数据流分类中的类别不平衡学习、
重复概念学习及半监督学习和主动学习问题;深入分析了当前概念漂
移数据流分类算法存在的问题。
考虑到概念漂移数据流分类研究的文献量很大,本文将从数据流
与概念漂移、概念漂移数据流分类研究的发展与趋势、概念漂移数据
流分类的主要研究领域、概念漂移数据流分类研究的新动态等四个方
面展开文献分析和整理,试图总结概念漂移数据流分类已有的研究成
果,把握其研究展开的脉络,分析其存在的问题。
1 数据流与概念漂移
数据流分类问题引起研究人员关注的原因主要有两个:一是因为
自动数据获取技术的飞速发展使得人类获得了大量的数据。数据量太
大时,数据不能被一次性装入内存;二是由于传感器技术的发展使得
人类获得了大量与时间和环境相关的数据
[10]
。Gama
[9]
和 Street
[11]
讨论
了数据流分类问题的特点:顺序处理、单向通过、内存有限等。数据
流分类通常被描述为在线分类模型
[12]
——也就是分类器每次只对一
个样本分类,在完成对该样本的分类后,分类器将得到由专家给出的
该样本的真实类别;该样本及其类别标志被用于分类器更新;当分类
器完成更新后,将对下一个接收到的样本实施分类。在线分类模型通
常又被扩展为分类器每次分类或学习一批样本。
数据流分为两种:一种是数据源产生的数据独立同分布,研究人
员称为稳定数据流
[13]
;另一种是数据源产生的数据不独立同分布,研
3
究人员认为在数据产生过程中发生了“概念漂移”
[2]
,称其为动态数
据流
[14]
。研究人员对概念漂移的深入理解是通过分析概念漂移的种类
及产生的原因逐步得到的。
Widmer 等认为数据产生环境的变化导致了概念漂移,并将概念
漂移区分为虚概念漂移和实概念漂移
[15]
;Kelly 认为概念漂移是样本
与其类别的联合概率随时间变化而产生,其产生原因分三种:一是某
类的先验概率发生变化;二是某类的类概率发生变化;三是样本后验
概率发生变化
[16]
;Kuncheva 引用时间序列分析方法将概念漂移分为
四种:随机噪声、随机趋势、随机替换、系统趋势
[4]
。其中,随机趋
势中包含渐变性概念漂移,随机替换中包含突变性概念漂移,系统趋
势中包含着重复性概念漂移;Narasimhamurthy 等根据数据产生的多
源性提出了概念漂移的产生模型
[17]
; Zliobaite 把概念漂移分为四种:
突变性概念漂移、渐变性概念漂移、增量性概念漂移、重复性概念漂
移
[7]
。Minku 等在总结他人工作的基础上,选择了纯度、速度、可预
测度、频度、重复度五个维度,将概念漂移分成 14 种
[18]
。对数据流
中增加了类别的情形,学术界还没有达成一致认识——有人认为是一
种概念漂移
[19]
,有人则认为属于概念进化
[20]
。
总的来讲,学术界对概念漂移的认识日渐清晰,但目前还缺少对
概念漂移的统一描述。Moreno-Torres 等试图利用数据漂移(Data Shift)
的概念来统一已有各种概念漂移的描述
[21]
。
剩余26页未读,继续阅读
资源评论
Mmnnnbb123
- 粉丝: 696
- 资源: 8万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功