没有合适的资源?快使用搜索试试~ 我知道了~
物联网工程自考12577-智能数据处理复习资料.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 200 浏览量
2022-05-24
09:42:06
上传
评论
收藏 2.39MB PDF 举报
温馨提示
试读
39页
。。。
资源推荐
资源详情
资源评论
高纲 1728
江苏省高等教育自学考试大纲
12577 智能数据处理
南京信息工程大学编(2018 年)
Ⅲ 课程内容与考核要求
第一章 物联网与产业发展
一、学习目的与要求
通过本章学习,要求了解物联网产业的发展历史,理解传感器与智能硬件的概念,了解物联
网服务平台,了解工业 4.0 与 CPS;理解物联网与大数据的概念及关系;理解物联网产业面临的
挑战,理解物联网操作系统与数据库,理解物联网大数据处理与应用。
二、课程内容(考试内容)
三、考核知识点与考核要求
1. 物联网产业的发展
领会:传感器与智能硬件的概念。
传感器通常由敏感元件和转换元件组成,能够检测感受到的信息按一定规律转换成电信号
输出,以满足对信息的传输、处理、显示、记录和控制等要求
智能硬件:家庭安防、空气净化器、智能路由器、智能插座、智能灯泡等等……
简单应用:物联网服务平台,工业 4.0 与 CPS
2014 年 8 月苹果 WWDC(国际消费电子展)大会上发布了 HomeKit 平台主要为智能硬件开发
者提供 IOS 上的数据、控制接口,实现利用苹果设备作为智能家居的控制中心
工业 4.0 的概念由德国在 2011 年的汉诺威工业博览会上第一次提出。
信息物理系统(cyber physical systems, 简称 CPS)作为计算进程和物理进程的统一体,是
集成计算、通信与控制于一体的下一代智能系统。信息物理系统通过人机交互接口实现和物理
进程的交互,使用网络化空间以远程的、可靠的、实时的、安全的、协作的方式操控一个物理
实体。
“工业 4.0”与“CPS”在本质上是异曲同工的,其战略核心是制造 智能化。它们的目标在
于通过物联网、信息通信技术和大数据分析,把不同设备通过数据交互连接到 一起,让工厂内
部,甚至工厂之间都能成为一个整体,在自动化之上形成制造的智能化。
2. 物联网与大数据
领会:物联网与大数据的概念、关系、作用意义。
近年来随着互联网的飞速发展,特别是随着电子商务、社交网络、移动互联网及多种传感
1
器的广泛应用,以数量庞大、种类众多、时效性强为特征的非结构化数据不断涌现,数据的重
要性愈发凸显。传统的数据存储、分析技术难以实时处理这些 大量的非结构化信息,大数据的
概念应运而生。
对于“大数据”,IT 研究机构 Gantner 给出了这样的定义:“大数据是需要新处理模式才能具有
更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产”
3. 物联网产业的机遇与挑战
挑战:
1.多数的受访者表示他们对数据隐私和个人敏感信息安全等事务相当担忧数据安全和个人
隐私泄露的危险将大大增加。
2.物联网缺乏一套通用标准,也没有保障兼容性和易用性的相关技术。
3.大数据处理的难度不仅仅在于数据量大,因为计算机系统的扩展可以在一定程度上缓解
数据量大带来的挑战。而大数据真正难以对付的挑战来自数据类型多样、要求及时响应和
数据的不确定性
机遇:
物联网技术的发展将和大数据技术紧密结合起来,将成万上亿计的传感器嵌入到现实世界
的各种设备中,获取来自传感器的数据,对其进行智能化的处理、分析、挖掘出物联网大
数据在单个物联网设备及传感器条件下完全不同的价值,从而提供更加深化、智能、贴近
于用户的产品及服务,这将是物联网产业发展面临的一大机遇。
领会:物联网产业面临的挑战,物联网操作系统与数据库,物联网大数据处理与应用
1.微软推出了 Windows 物联网开发者计划,目的是为小物件装上 Windows 操作系统
2.ARM 推出了专门针对物联网领域的 mBed 物联网设备平台,包括三个方面:mBed OS、mBed
设备系统管理、mBed 社区。其中 OS 在设备端落地、Device Server 做管理端操纵、社区提
供技术支援。
3.谷歌推出了基于安卓开发的针对物联网智能家居平台的操作系统,名为“ Brillo”新的
操作系统属于物联网的底层操作系统,旨在对硬件需求最低化,能够实现端到端的设备连
接,以安卓为核心,保留最基本的内核功能,可与任何安卓设备轻松对接。
4.2015 年华为网络大会上发布的 LiteOS,是全球最轻量级的开源物联网操作系统,只有
10KB,具有零配置、自发现、自组网、跨平台的功能
四、本章关键问题
物联网与大数据,物联网操作系统与数据库,物联网大数据处理与应用。
第二章 大数据处理技术的发展
一、学习目的与要求
通过本章学习,掌握大数据的基本概念及其剖析过程,理解大数据的若干关键技术,并进行
2
适当的总结,理解大数据技术对整个产业链的调整和重构,对经济转型的推动作用。理解大数据
技术为发展物联网等新兴产业和促进传统产业升级提供的基础作用。了解大数据面临的挑战,尤
其是其规模效应给数据存储、管理及分析所带来的巨大压力,了解大数据技术的发展趋势。本章
要求从三个方面学习大数据处理技术的发展,包括大数据存储和管理技术,大数据计算技术和大
数据分析技术。
二、课程内容(考试内容)
三、考核知识点与考核要求
1. 大数据存储和管理技术
Sun 公司开发了网络文件系统(NetWork File System,NFS),这就是最初的分布式文件系
统。分布式文件系统搭建在传统文件系统之上,它必须允许用户在企业内部网上的任一计算机
上访问自己的文件,程序可以像对待本地文件一样存储和访问远程文件。
分布式文件系统必须解决的一些基本问题(教材 P13 页段落中)
SAN(Storage Area Network )存储区域网
识记:三类面向大数据的数据库系统。
1. 并行数据库
并行数据库是指那些无共享的体系结构中进行数据操作的数据库系统。这些系统大部分采
用了关系数据模型并且支持 SQL 语句查询,但为了能够并行执行 SQL 的查询操作,系统中
采用了两个关键技术:关系表的水平划分和 SQL 查询的分区执行。++
2. NoSQL 数据管理系统
传统关系数据库发展已有四十多年的历史,出现了很多的成熟应用和应用广泛的的关系数
据库管理系统,如 Oracle(甲骨文)、MS SQL Server 和 MySQL 等
NoSQL 是 Not Only SQL 的缩写,NoSQL 数据存储和管理系统是指那些非关系型的、分布式
的、不保证遵循 ACID 原则的数据存储系统,并分为 key-value 存储、文档数据库和图数据
库这三类。
3. New SQL 数据管理系统
NewSQL 是对各种新的可扩展/高性能数据库的简称,这类数据库不仅具有 NoSQL 对海量数
据的存储管理能力,还保持了传统 数据库支持 ACID 和 SQL 等特性。
领会:面向大数据的文件系统,面向大数据的数据库系统的基本思想和应用。
Sun 公司开发了网络文件系统(NetWork File System,NFS)→SAN(Storage Area Network)
存储区域网→Google 文件系统(GFS)→雅虎工程师根据 Google 公开论文开发的 HDFS→加州大
学 Santa Cruz 分校的 SageWeil 设计的 Ceph
2. 大数据计算技术
识记:大数据的两类处理模式;流处理计算模式的概念和两种典型的处理方式。
大数据的应用类型有很多,主要的处理模式可分为两种: 批处理计算模式和流处理计算模
3
式。批处理是先存储后处理,流处理是直接处理
流处理的计算模式将要处理的数据作为流数据来对待,当新数据到来时立刻处理并返回需
要的结果。流数据具有持续到达、规模大且速度快等特点。
流处理计算模式有两种典型的处理方式。一种是 真正的流处理方式 ,其计算是针对一条新
的纪录进行一次,如 Storm,其响应时间可以达到毫秒级。另一种是“微批处理”方式,是将流
数据分为很多小的片段,针对每个片段进行一次处理,如 Spark Streaming,响应时间难以达到
毫秒级
领会:批量数据的 3 个特征。
1. 数据体量巨大。数据量级别从 TB 跃升到 PB 级别及以上,数据是以静态的形式存储在硬
盘中,很少进行更新,存储时间长,可以重复利用。
2. 数据精确度高。批量数据往往是从应用中沉淀下来的数据,因此精度比较高,是企业的
一部分宝贵财富。
3. 数据价值密度低。以视频批量数据为例,在连续不断的监控过程中,有用的数据可能仅
仅只有一两秒。因此合理利用算法才能从批量数据中抽取有价值的数据。
简单应用:MapReduce 编程模型,理解其技术优势和局限性
MapReduce 编程模型:批处理计算模式主要采用 MapReduce 编程模型。MapReduce 编程模型
可以很容易的将多个通用批处理文件和操作在大规模集群上并行化并具有自动化的故障转移功
能。
技术优势:
1. 采用无共享大规模集群系统,集群系统具有良好的性价比和可伸缩性
2. 模型简单、易于理解、易于使用在处理大规模数据时可以将很多的繁琐细节隐藏起来(如
自动并行化、负载均衡和灾备管理)极大地简化了程序员的开发工作。
3. 在海量数据环境、需要保证可伸缩性的前提下,通过使用合适的查询优化和索引技术,
MapReduce 仍能够提供很好的数据处理性能。
MapReduce 的局限性知识点在教材 P20 页
【交互式数据处理的代表系统 Spark 系统、Dremel 系统;流式数据处理的典型应用 Storm
系统、Samza 系统、Spark Streaming 系统;大数据实时处理的框架:Lambda 架构。】
Lambda 架构是有 Strom 的作者提出的一个实时大数据处理框架
(其它看教材吧 P20-P24)(不做重点)
3. 大数据分析技术
识记:针对不同数据类型,所采用的大数据分析技术;文本分析技术中的信息提取
主题建模、摘要、分类、聚类、问答系统和观点挖掘技术。
信息提取技术是指从文本中自动提取具有特定类型的结构化数据
1. 主题建模建立在文件包含多个主题的情况。主题是一个基于概率分布的词语,主题模型
4
对文档而言是一个通用的模型,许多主题模型被用于分析文档内容和词语含义。
2. 文本摘要技术从单个或多个输入的文本文档中产生一个缩减的摘要,分为提取式摘要和
概括式摘要两种提取式摘要从原始文档中选择重要的语句或段落并将它们连接在一起,
而概括式摘要则需要理解原文并基于语言学方法以较少的语句复述。
3. 文本分类技术用于识别文档主题,并将之归类到预先定义的主题或主题集合中。机遇图
表示和图挖掘的技术在近年来的得到了关注。
4. 文本聚类技术用于将类似的文档聚合,和文本分类不同的是,文本聚类不是按照预先定
义的主题将文档归类的。
5. 问答系统主要用于如何为给定问题找到最佳答案,涉及问题分析、源检索、答案提取和
答案表示等技术。
领会:大数据分析技术的必要性
1. 大数据查询和分析的实用性和实效性对于人们能否及时获得决策信息非常重要。
2. 新的大数据分析和查询工具可以使业务人员也能轻松上手实现自助自主分析即时获取
商业洞察
传统结构化数据分析;文本数据分析;多媒体数据分析;社交网络数据分析;物联网传感数
据分析
1. 传统结构化数据分析:在传统工业、电子商务、政务及科学研究领域所产生的大量的结
构化数据
2. 文本数据分析:文本数据包括电子邮件、文档、网页和社交媒体内容。文本数据分析是
指从无结构的文本中提取有用信息或知识的过程
3. 多媒体数据分析:多媒体数据分析是指从图像、语音等多媒体数据中提取知识。
4. 社交网络分析:社交网络包含大量的联系数据和内容数据,其中联系数据通常用一个图
拓扑表表示实体之间的联系,内容数据则包含文本、图像和其他多媒体数据社交网络中
的联系数据是一类典型的“图数据”
四、本章关键问题
面向大数据的数据库系统、批处理计算模式、大数据实时处理的架构 Lambda 架构、大
数据分析技术。
第 2 篇 技术解析篇
第三章 物联网大数据技术体系
一、学习目的与要求
本章包括物联网中的大数据挑战和技术体系。通过本章学习,对物联网中产生的感知数据发
展有较为深入的理解,了解从工业企业自动化生产线及设备上的运行数据,以及随着工业 4.0
推进而带来的数据爆炸,感知数据呈现几何级数增长的数量对物联网大数据的获取、传输、存储、
5
剩余38页未读,继续阅读
资源评论
春哥111
- 粉丝: 1w+
- 资源: 5万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功