基于云计算平台的物联网数据挖掘研究，张毅，崔晓燕，随着社会的不断发展，信息产业已经逐渐成为了国民经济发展的重要支柱，而物联网作为新一代信息技术的重要组成部分成为推动人类文
山国武花论文在丝 前, 被很多研究机构用米作为云计算的基础开发平台,它可以在用户不了解分布式 底层细节的情况下进行分布式程序开发,由于 平台是开源的并且道过集群的优势提 供了高速运算能力和强大的存储能力,因此被看做未来可以像系统一样影响产业。 是以分布式文件系统 和 为核心,它提供了系统底层细节透明的 基础架构,用户可以获得很好的分布式计算和分布式存储编程环境。 具有高容错性、 高伸缩性等优点,使得用户可以不仅在服务器上部署 ,同时在低廉的硬件上也可以 部署,形成分布式文件系统。 分布式编程模型允许用户在不了解分布式系统底 层实现细节的情况下开发并行应用程序,采用 来整合分布式文件系统上的数据, 可保证分析和处理的高效性。用户可以利用 轻松地组织计算机资源进而搭建自己 的分布式计算厶平台并且可以充分利用集样的计算和存储能力完成海量数据的处理。 数据挖据技术 数据挖据定义 数据挖掘的历史虽然不长,但是自上世纪九十年代以来,人们对其重视程度越来越大 由于数据挖掘属于个交叉学科,不同的领域的人对其理解存在着不·样的地方,因此目前 还没有一个统一的定义,不同的人根据自己的研究内容和应用对象提出了不同的定义 硏究所认为数据挖掘是“在大量相关数据基础之上进行数据探索和简历相关模型的先进方 认为数据挖掘是“使用多种不同的技术,在大量的数据中发现有意义的新 关系、模式和趋势的过程”;韩家炜等人认为“数据挖掘是在大型数据库中寻找有意义、有 价值信息的过程”。 大多数硏究人员比较赞冋韩家炜等人对数据控掘的定义。这个定义主要包含几层含义: 首先,数据来源必须是大量的、真实的,真实的数据可能是不完仝的或者含有噪声的数据: 其次,数据挖掘获得的信息或知识对于用户是有价值的:最后,发现的知识是能够被理解 被接受、被运用的,可以支持决策或能够攴持特定的发现冋题。 物联网数据挖据存在的挑战 根据物联网数据特点,总结了物联网数据的特性对于数据挖掘技术提出的新的挑战,主 要有以下几点: ()大量的物联网数据存储在不同的地点,因此通过中央模式很难控掘分布式数据。 ()物联网数据规模庞大,有大量的传感器节点,且需要实时处理,一般会采用中央 结构,这样从很大程度上增加了对于中央节点的硬件要求。 ()由于节点的资源是有限的,将数据放在中心节点的策略没有优化昂贵资源的使用, 大多数情况下,中心节点不需要所有的数据,但是需要预估一些参数,可以在分布式节点中 对原始数据进行预处理,再将必要信息传送给接收者。 ()由于物联网薮据存在许多外在因素,例如数据安全性、数据隐私、法律约束等。将 山国武花论文在丝 所有数据统一存放在相同的数据仓库中的方式通常是不可行的。 由以上几点可以看出,对物联网进行实时高效的数据挖掘,现有的技术和方式存在很多 弊端,需要进一步进行更深入的研究提出更多更好的解决方案。 基于云计算的物联网数据挖掘 该平合数据挖掘选用物联网数据集为例,选择目前硏究热点 为基础平台搭建。 平台主要包括四个大的模块:物联网感知层、传输层、数据层、数据挖掘服务层。具体如下: ()物联网感知层 感知层的作用主要是通过在目标区域内布置大量的采集节点,这些节点通过传感器、摄 像头或其他仪器仪表来釆集物联网数据,其中这些数据在物联网感知层内会存在通信,即存 在无线传感器网终,迸过这些网终汇聚数据到汇聚节点,然后对对数据进行汇总存储)且通 过传输层最终传输到云平台数据中心。 ()传输层 传输层主要是集传感器网络、无线网络、有线网络等多种网络形态于一体的高速、无缝、 可靠的数据传输网终,能够灵活快遠的将感知数据传输至云计算数据中心,实现更加仝面的 互通互联;将各类监测改备进行联网数据传输,实现物联內中监测设备的闷络化髙速数据传 ()数据层 数据层对于整个物联网数据挖掘平台是至关重要的,由于我们已经提到了物联网数据的 异构性、海量性等特点,因此在数据层如和解决物联网这些数据存储及处理决定了物联网数 据挖掘平台的可行性和性能。数据层主要包括两个重要模块:数据源转换模块、分布式存储 模玦。数据源转换模块主要用于物联网中异构数据的转换,分布式存储模块主要结合了 平台的文件系统 采用分布式方式存储物联网海量数据。 由于在物联网中,不同的对象会有不同的数据类型来表示,甚至相同的对象都会用不同 的数据来表示,因此数据源转换器的作用主要是来解决物联网数据昇构性,它不仅可以保证 数据存储的完碆性,还能保证数据控掘旳顺利进行。数据源转换模块相当于数据层与感知层 中各个监测设备的接口,并完成数据包解码以及按相应数据模型最终使分布式存储模块存储 的都是有效并且完整的数据。数据转换器将同类型的数据转换成数据,所以分布式 存储在各个 节点的文件类型为类型数据。 在此,我们提出的概念, 的出现提供·种通用的方式来描述自然物体,它 是基于创建的语言,也有相同的核心思想 研发的目的是提供关于物品的详细 信息,并促进物品信息的交换。例如,物联网的节点采集到信息,经过传输,在存储时利用 进行建模,建模信息包括物体的属性信息、位置信息、单个物体所处的环境信息和多 个物体所处的环境信息等,并包含了物体信息的历史元素,上述信息汇总后可以较为准确的 描述物品的信息。 山国武花论文在丝 ()数据挖掘服务层 数据挖掘服务层主要包括数捱准备模块、数据挖掘引擎模块以及用户模块ε数据准备模 块主要包含了对于数据的清理、变换、数据规约等;数据挖掘引擎模块主要包含薮据挖掘算 法集、模式评估等;用户模块主要包含数据挖掘知识的可视化表示。根据知识挖掘的类型不 同,在数据挖掘引擎模垬可以包括的功能主要有特征、区分、关联、聚类、局外者、趋势和 演化分析、偏差分析、类似性分析等分类。提供这些功能的关键在于数据挖掘引擎模块中算 法集提供各种功能的算法,而在 平台中数据控掘算法需要对传统经典数据挖掘算法 进行改进,即进行算法并行化处理。 用户模块是整个物联网数据挖掘平台直接山向使用人员的部分,所以应该只有良好的友 好性,用户可以通过界面操作进行薮据挖掘仼务,并能够得到可以被理解的知识。为了增强 平合的可移植性,在用户服务底层模块増加廾放接口,从而可以使第三方调用物联网数据挖 掘平台的功能,使物联网应用更加丰富 数据挖掘 用户界面 数据挖掘接口 服务层 数挖掘算法集 数据挖掘引擎 数据层 De taNod I DatanEt (DataNode DataNode 数据源转换器 传输层 WLAN 匝定览带 RFID读写 感知层 摄像条形 头 RFID 图基于云计算物联灲数据挖掘架构 山国武花论文在丝 实验验证 基于云计算物联网数据挖掘平台工作流程 数据挖掘流程如下图所示,用户请求进行数据挖掘,主控节点接收到请求后会判断是否 可以进行该任务,并返回给用户发送该任务是否可以进行,如果可以进行,主控节点在数据 挖掘算法集存储模垗中调用用户所需的数据挖掘算法,此时, 文件存储系统中的数据 文件会进行数据规约等处理。此后根据数据挖掘算法进行分布式数据挖,分布式数据挖掘 的思想是 它采用了 主从结构。通过主节点将数据挖掘仟务进行 划分后,传递到需要完成具体工作的从节点上,这些节点负责具体去处理数据挖掘的具体数 据。 负责和的调度,而 负责执行 用户 主控节点 控节点允许、 用户请求 主控节点调川数据 挖掘算法 <调用数据挖、否 算法成功 准备物联网数据 结果 分布式数据挖掘 图物联网数据挖掘流程图 山国武花论文在丝 实验验证 本文通过搭建 平台,并将通过数据转换器转换成格式的数据进行分布式 存储后,运行经过 化的数据控掘算法(此实验选用了 算法) 分析 整个平台的可行性和性能。 实验环境 个实验选用了一台机(配置为内存,硬盘,系统为 上安装了安装虚拟机的方式部署多个分布式节点,一共安装了个虚拟机,操作 系统均为 系统(个 个 另外还安装了 版本的 集成开发环境,并在本机 下安装了 方便实验时传递数据使用,每个虚拟机的操作 系统下也安装了服务,并且会进行一些基本的设置,在运行 时需要 用到的。 实验过程 配置完成 平台后,选取了一组用于关联规则算法的实验数据,将实验数据通 过代码编写的程序通过关键字搜索方式转换成标准类型的文件(大小为 将文件通过 的命令放入到 平台上进行分布式存储。运行经过改进后的 算法(语言编写),得到运行结果,查看是否找到了实验数据集中的所有频繁项集 另外,我们还会选取不同大小的文件进行上述实验,并对比运行吋间等,用于分析平 台的性能。 实验结果 在验证了该平台的可行性后,通过运行不同大小的数据集,得到的运行时间如下表所示 表1文件大小与运行时间对应关系 文件大小() 运行时() 从上表可以看出随着数据量增大,改进后的 算法呈现线性增加,可以在数据量 变大的情况下完成频繁项集的发现,因此,可以看出该平台有很好的扩展性,能够满足物联 网海量数据的挖掘。 结论 本文对于提出了物联网数据挖掘对于物联网产业的发展有十分重要的意义,由于物联网 的特点决定物联网数据挖掘存在许多困难,为了解决这些困难,对于物联网数据挖掘和云计 算结合进行了许多硏究,并提出了结合 Hadoop平台进行分布式数据挖掘的观点,通过实验 山国武花论文在丝 验证了这种思路的可行性 参考文献 张福生物联网山西:山西人民出版社 王瑞刚物联网主要特征与基础理论硏究计算机科学, 李志守物联网技入硏究进展计算机测量与控制 赵钓构建基于云计算的吻联网运营平台电信科学, 张骏一种基于 并行框架的大秌模矩阵乘法运算的实玩计算机应用与软件,