没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![epub](https://img-home.csdnimg.cn/images/20210720083646.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![pdf](https://img-home.csdnimg.cn/images/20210720083512.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![exe](https://img-home.csdnimg.cn/images/20210720083343.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![rar](https://img-home.csdnimg.cn/images/20210720083606.png)
![](https://csdnimg.cn/release/download_crawler_static/87207531/bg1.jpg)
摘要
:针对大数据系统软件开源生态发展现状、大数据系统软件技术与领域应用发展的迫
切需求与工程化瓶颈,系统地介绍了大数据系统软件共性技术的研发思路以及大数据系统软
件国家工程验室研制的“数为平台”的技术架构,包括大规模多源异构数据的一体化管理、异
构数据的交互式分析框架、数据可视化与智能数据工程、大数据混源软件可信验证、领域大
数据应用开发与运行环境等。给出了基于平台建设开放的大数据软件创新平台与生态的模
式,并在工业制造业、气象环保服务领域开展应用示范。
关键词:
大数据系统软件 ; 开源软件生态 ; 领域大数据应用 ; 国家工程实验室
1 引言
大数据系统软件连接大数据计算平台与大数据应用软件,是大数据系统的基础。大数据系统
软件对分布式硬件平台资源进行统一抽象,为大数据处理提供一体化存储管理、分析框架、
全生命周期数据工程、安全保障等基础共性功能,为大数据应用提供开发运行环境,是大数
据产业的“核心驱动程序”。
国际大数据系统软件的发展以开源软件为主导方式,逐渐形成了以 Hadoop、Spark、
TensorFlow 生态为代表的、支持大数据应用开发的共性基础软件与工具平台。例如以国际
开源软件基金会(Apache)等社区为平台,实现了技术的快速演进,IBM 等公司也以开源
软件为基础,包装了各自的商业化发行版本。Hadoop 是大数据领域非常重要的开源框架,
基于简单的编程模型,对大型数据集进行分布式处理。Spark 是面向大规模数据处理的通用
引擎,现已形成包括批处理、流式处理、统计分析、图计算等在内的数据分析软件栈。
TensorFlow 是将复杂的数据结构传输至人工智能神经网进行分析和处理的开源软件平台,
![](https://csdnimg.cn/release/download_crawler_static/87207531/bg2.jpg)
用于语音识别或图像识别等机器学习和深度学习任务。相比于成熟的关系型数据库技术,大
数据时代的数据处理技术与系统更多被认为是“负载优化系统”。以谷歌公司为例,针对其网
页搜索服务的需求设计了分布式存储文件系统(GFS)、基于列族的无模式(schemaless )
存储与键值索引、基于任意数据切分(MapReduce)的高容错分布式计算框架。
顺应大数据系统软件开源实践,聚焦领域化与生态化创新,是大数据系统软件的发展方向。
大数据领域国家工程实验室作为一个公共的平台,通过大数据系统软件关键技术的创新和突
破,促进大数据与各行业应用的深度融合,以应用带动大数据系统软件技术和产品研发,形
成一批代表性示范应用案例。
2 大数据系统软件工程挑战
在“互联网+”时代,大数据应用正在从消费互联网发展到产业互联网,领域大数据应用与消
费互联网应用有显著区别,数据类型以时序数据、科学数据、过程数据以及非结构化工程数
据等数据类型为主,其使用者也从互联网公司的高级技术人员转变为传统领域的技术与业务
人员。这对当前主要基于开源项目的大数据系统软件技术和产品在领域数据特征、多源知识
融合、数据处理过程、应用开发效率、安全可控保障等方面提出了新的挑战。大数据系统软
件关键技术的研发需求主要包括以下几个方面。
(1)针对领域数据特征的挑战
为应对开源数据管理引擎产品能力缺失的问题,研发面向设备高频时间序列数据、遥感数据、
科学数据等领域数据的管理技术,整合多种类型异构数据管理引擎的一体化管理技术以及面
向新型硬件设备的优化技术,解决“不管用”的问题。
(2)针对多源知识融合的挑战
![](https://csdnimg.cn/release/download_crawler_static/87207531/bg3.jpg)
为解决开源数据分析框架交互性与异构性支持不足的问题,研发面向人与机器、算法协同工
作环境,实现差异化数据类型与负载和异构硬件设备的分析框架自动适配,降低领域人员分
析应用门槛,解决“不会用”的问题。
(3)针对数据处理过程的挑战
为解决开源大数据软件栈中数据工程工具集较为欠缺的问题,研发数据采集、数据集成、数
据清理、数据可视化探索分析等丰富的数据工程支撑工具,提升数据处理的效率,解决“不
够用”的问题。
(4)针对应用开发效率的挑战
为应对开源大数据系统软件产品在应用开发上的能力缺失问题,研发支撑大数据应用开发与
运行一体化、智能化的管理工具,领域大数据实验床以及面向新型硬件设备的优化能力的研
发和工程化,解决“不好用”的问题。
(5)针对安全可控保障的挑战
为应对开源软件代码来源(链)难以控制、版本变化迅速、质量缺乏统一标准的问题,研发
面向大数据应用的混源大数据系统的可信验证体系,实现对大数据系统软件可靠性、可用性、
正确性等方面的可信验证,解决“不敢用”的问题。
最终,在大规模多源异构数据一体化管理、交互式异构数据分析框架、数据可视化与智能数
据工程、领域大数据应用开发运行环境、大数据混源软件可信验证等领域取得重大突破,通
过以上 5 个方面形成大数据系统软件体系,促进中国大数据产业的发展。
3 大数据系统软件技术架构
以工业领域为例,从领域数据特征角度来看,机器设备产生的高通量时间序列数据、设计仿
剩余12页未读,继续阅读
资源评论
![avatar-default](https://csdnimg.cn/release/downloadcmsfe/public/img/lazyLogo2.1882d7f4.png)
![avatar](https://profile-avatar.csdnimg.cn/06779827608847128b637bead301d722_weixin_72426331.jpg!1)
คิดถึง643
- 粉丝: 3989
- 资源: 1万+
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助
![voice](https://csdnimg.cn/release/downloadcmsfe/public/img/voice.245cc511.png)
![center-task](https://csdnimg.cn/release/downloadcmsfe/public/img/center-task.c2eda91a.png)
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback](https://img-home.csdnimg.cn/images/20220527035711.png)
![feedback-tip](https://img-home.csdnimg.cn/images/20220527035111.png)
安全验证
文档复制为VIP权益,开通VIP直接复制
![dialog-icon](https://csdnimg.cn/release/downloadcmsfe/public/img/green-success.6a4acb44.png)