大数据的概念及相关技术.docx
版权申诉
114 浏览量
2022-11-17
05:24:56
上传
评论
收藏 13KB DOCX 举报
一.大数据的概念
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目
前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业
经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写
的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采
用所有数据的方法[2]）大数据的 4V 特点：Volume（大量）、Velocity（高速）、
Variety（多样）、Value（价值）。
“大数据”作为时下最火热的 IT 行业的词汇，随之而来的数据仓库、数据安全、
数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相
追捧的利润焦点。
二.大数据的相关技术
1．大数据采集技术
数据是指通过 RFID 射频数据、传感器数据、社交网络交互数据及移动互联
网数据等方式获得的各种类型的结构化、半结构化（或称之为弱结构化）及非
结构化的海量数据，是大数据知识服务模型的根本。重点要突破分布式高速高
可靠数据爬取或采集、高速数据全映像等大数据收集技术；突破高速数据解析、
转换与装载等大数据整合技术；设计质量评估模型，开发数据质量技术。
大数据采集一般分为大数据智能感知层：主要包括数据传感体系、网络通
信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、
半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输、信
号转换、监控、初步处理和管理等。必须着重攻克针对大数据源的智能识别、
感知、适配、传输、接入等技术。
2．大数据预处理技术
主要完成对已接收数据的辨析、抽取、清洗等操作。
1）抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们
将这些复杂的数据转化为单一的或者便于处理的构型，以达到快速分析处理的
目的。
2）清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，
而另一些数据则是完全错误的干扰项，
因此要对数据通过过滤“去噪”从而提取出有效数据。
3．大数据存储及管理技术
大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据
库，并进行管理和调用。重点解决复杂结构化，半结构化和非结构化大数据管
理与处理技术。主要解决大数据的可存储、可表示、可处理、可靠性及有效传
输等几个关键问题。开发可靠的分布式文件系统（ DFS）、能效优化的存储、计
算融入存储、大数据的去冗余及高效低成本的大数据存储技术；突破分布式非
关系型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，研
究大数据建模技术；突破大数据索引技术；突破大数据移动、备份、复制等技
术；开发大数据可视化技术。
开发新型数据库技术，数据库分为关系型数据库、非关系型数据库以及数
据库缓存系统。其中，非关系型数据库主要指的是 NoSQL 数据库，分为：键值
数据库、列存数据库、图存数据库以及文档数据库等类型。关系型数据库包含
了传统关系数据库系统以及 NewSQL 数据
资源评论
