大数据系统软件创新平台与生态建设.docx资源-CSDN文库

版权申诉

155 浏览量 2022-11-29 13:43:03 上传评论收藏 515KB DOCX 举报

资源推荐

资源详情

资源评论

摘要:

针对大数据系统软件开源生态发展现状、大数据系统软件技术与领域应用发展的迫切需求

与工程化瓶颈，系统地介绍了大数据系统软件共性技术的研发思路以及大数据系统软件国家工程

验室研制的“数为平台”的技术架构，包括大规模多源异构数据的一体化管理、异构数据的交互

式分析框架、数据可视化与智能数据工程、大数据混源软件可信验证、领域大数据应用开发与运

行环境等。给出了基于平台建设开放的大数据软件创新平台与生态的模式，并在工业制造业、气

象环保服务领域开展应用示范。

关键词:

大数据系统软件；开源软件生态；领域大数据应用；国家工程实验室

引言

大数据系统软件连接大数据计算平台与大数据应用软件，是大数据系统的基础。大数据系统软件

对分布式硬件平台资源进行统一抽象，为大数据处理提供一体化存储管理、分析框架、全生命周

期数据工程、安全保障等基础共性功能，为大数据应用提供开发运行环境，是大数据产业的"核

心驱动程序"。

国际大数据系统软件的发展以开源软件为主导方式，逐渐形成了以Hadoop、Spark.

TensorFlow 生态为代表的、支持大数据应用开发的共性基础软件与工具平台。例如以国际开源

（

软件基金会 Apache）等社区为平台，实现了技术的快速演进，IBM 等公司也以开源软件为基

础，包装了各自的商业化发行版本。Hadoop 是大数据领域非常重要的开源框架, 基于简单的编

程模型，对大型数据集进行分布式处理。Spark 是而向大规模数据处理的通用引擎，现已形成包

括批处理、流式处理、统计分析、图计算等在内的数据分析软件栈。

TensorFlow 是将复杂的数据结构传输至人工智能神经网进行分析和处理的开源软件平台 , 用于

语音识别或图像识别等机器学习和深度学习任务。相比于成熟的关系型数据库技术，大数据时代

的数据处理技术与系统更多被认为是"负载优化系统”。以谷歌公司为例，针对其网页搜索服务

（

的需求设il 了分布式存储文件系统 GFS）、基于列族的无模式（schema-less）存储与键值索

（

引、基于任意数拯切分 MapReduce）的髙容错分布式计算框架。

顺应大数据系统软件开源实践，聚焦领域化与生态化创新，是大数据系统软件的发展方向。大数

据领域国家工程实验室作为一个公共的平台，通过大数据系统软件关键技术的创新和突破，促进

大数据与各行业应用的深度融合，以应用带动大数据系统软件技术和产品研发，形成一批代表性

示范应用案例。

大数据系统软件工程挑战

在"互联网+”时代，大数据应用正在从消费互联网发展到产业互联网，领域大数据应用与消费互

联网应用有显著区别，数据类型以时序数据、科学数据、过程数据以及非结构化工程数据等数据

类型为主，英使用者也从互联网公司的高级技术人员转变为传统领域的技术与业务人员。这对当

前主要基于开源项目的大数拯系统软件技术和产品在领域数据特征、多源知识融合、数据处理过

程、应用开发效率、安全可控保障等方而提出了新的挑战。大数据系统软件关键技术的研发需求

主要包括以下几个方而。

（）

1 针对领域数据特征的挑战

为应对开源数据管理引擎产品能力缺失的问题，研发而向设备高频时间序列数据、遥感数据、科

学数据等领域数据的管理技术，整合多种类型异构数据管理引擎的一体化管理技术以及而向新型

硬件设备的优化技术，解决“不管用"的问题。

（

2）针对多源知识融合的挑战为解决开源数据分析框架交互性与异构性支持不足的问题，研

发面向人与机器、算法协同工作环境，实现差异化数据类型与负载和异构硬件设备的分析框架

自动适配，降低领域人员分析应用门槛，解决"不会用"的问题。

（

3）针对数据处理过程的挑战

为解决开源大数据软件栈中数据工程工具集较为欠缺的问题，研发数据采集、数据集成、数据

淸理、数据可视化探索分析等丰富的数拯工程支撑工具，提升数据处理的效率，解决"不够用”

的问题。

（

4）针对应用开发效率的挑战

为应对开源大数据系统软件产品在应用开发上的能力缺失问题，研发支撑大数据应用开发与运

行一体化、智能化的管理工具，领域大数据实验床以及面向新型硬件设备的优化能力的研发和

工程化，解决"不好用"的问题。

（

5）针对安全可控保障的挑战

为应对开源软件代码来源（链）难以控制、版本变化迅速、质量缺乏统一标准的问题，研发而

向大数据应用的混源大数携系统的可信验证体系，实现对大数据系统软件可靠性、可用性、正

确性等方而的可信验证，解决"不敢用”的问题。

最终，在大规模多源异构数摇一体化管理、交互式异构数据分析框架、数据可视化与智能数据

工程、领域大数据应用开发运行环境、大数据混源软件可信验证等领域取得重大突破，通过以

上 5 个方而形成大数拯系统软件体系，促进中国大数据产业的发展。

大数据系统软件技术架构

以工业领域为例，从领域数据特征角度来看，机器设备产生的高通量时间序列数据、设汁仿真

阶段的非结构化工程数据等领域数据缺少有效的管理技术，同时对不同种类数据进行一体化管

理的能力不足，缺少管用的大数据系统软件：从多源知识融合的角度来看，现有大数据分析软

件使用门槛高、交互性支持不够，仅提供计算框架与分析类库，很难让具有机械、电子、液

压、自动化等领域知识的技术人员独立使用；从数据处理过程的角度来看，由于大数据可视

化、数据集成、数据淸理等数据工程工具缺失，工业领域的技术人员会花费大量的时间反复尝

试手动对数据进行处理，分析效果也受到了制约：从应用开发的角度来看，大数据应用系统开

发涉及的系统选型、参数配巻、模型选择、运行优化等工作步骤都需要基于专家知识进行反复

迭代，应用开发使用门槛过高，加大了开发成本;从安全可控保障的角度来看，混源大数据系统

的安全可信成为大数据开发利用亟待解决的核心问题。大数据系统软件国家工程实验室针对以

上问题与需求，重点在大规模多源异构数据一体化管理、交互式异构数据分析框架、数据可视

化与智能数据工程、领域大数据应用开发运行环境、大数据混源软件可信验证等领域开展研

发，以形成开放的大数据系统软件体系，提升中国大数据产业的实践能力。

剩余11页未读，继续阅读

评论收藏

内容反馈

版权申诉

G11176593

粉丝: 6709
资源: 3万+

大数据系统软件创新平台与生态建设.docx

大数据系统软件创新平台与生态建设

大数据系统软件创新平台与生态建设 (2).docx

大数据平台引领服务模式大变革.docx

旅游大数据平台方案.docx

大数据开发工程师的岗位职责.docx

大数据架构师的岗位职责.docx

大数据系统软件创新平台与生态建设.pdf

大数据系统软件创新平台与生态建设 (2).pdf

“看见”大数据.docx

hadoop大数据知识点及题型.docx

基于Hadoop生态技术的学生就业推荐平台研究与应用.docx

大数据信息化智慧城市人工智能城市大脑数字化转型资料汇总20份.rar

大数据分析与应用期末考试.docx

大数据分析系统创新平台与生态建设

大数据驱动的安全协同生态建设.docx

大数据平台系统软件技术方案介绍

面向智慧城市的大数据开放共享平台及产业生态建设

智慧城市建设系统软件开发平台.docx

人工智能产业分类目录.docx

人工智能专题讲座.docx

人工智能产业链及商业模式全解释.docx

物联网平台业务子系统生态建设需求(含十几个子系统).docx

平台硬件和系统软件部署方案V1.1.docx

最新资源