大数据关键技术
大数据技术,就是从各种类型的数据中快速获得有价值信息的技
术。大数据领域已经涌现出了大量新的技术,它们成为大数据采集、
存储、处理和呈现的有力武器。
大数据处理关键技术一般包括:大数据采集、大数据预处理、大
数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检
索、大数据可视化、大数据应用、大数据安全等) 。
一、大数据采集技术
数据是指通过 RFID射频数据、传感器数据、 社交网络交互数据及
移动互联网数据等方式获得的各种类型的结构化、 半结构化(或称之
为弱结构化)及非结构化的海量数据, 是大数据知识服务模型的根本。
重点要突破分布式高速高可靠数据爬取或采集、高速数据全映
像等大数据收集技术;突破高速数据解析、转换与装载等大数
据整合技术;设计质量评估模型,开发数据质量技术。
大数据采集一般分为大数据智能感知层:主要包括数据传感体
系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入
系统,实现对结构化、 半结构化、非结构化的海量数据的智能化识别、
定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。必
须着重攻克针对大数据源的智能识别、感知、适配、传输、接入等技
术。基础支撑层:提供大数据服务平台所需的虚拟服务器,结构化、
半结构化及非结构化数据的数据库及物联网络资源等基础支撑环境。