摘要
：针对大数据系统软件开源生态发展现状、大数据系统软件技术与领域应用发展的迫
切需求与工程化瓶颈，系统地介绍了大数据系统软件共性技术的研发思路以及大数据系统软
件国家工程验室研制的“数为平台”的技术架构，包括大规模多源异构数据的一体化管理、异
构数据的交互式分析框架、数据可视化与智能数据工程、大数据混源软件可信验证、领域大
数据应用开发与运行环境等。给出了基于平台建设开放的大数据软件创新平台与生态的模
式，并在工业制造业、气象环保服务领域开展应用示范。
关键词：
大数据系统软件 ; 开源软件生态 ; 领域大数据应用 ; 国家工程实验室
1 引言
大数据系统软件连接大数据计算平台与大数据应用软件，是大数据系统的基础。大数据系统
软件对分布式硬件平台资源进行统一抽象，为大数据处理提供一体化存储管理、分析框架、
全生命周期数据工程、安全保障等基础共性功能，为大数据应用提供开发运行环境，是大数
据产业的“核心驱动程序”。
国际大数据系统软件的发展以开源软件为主导方式，逐渐形成了以 Hadoop、Spark、
TensorFlow 生态为代表的、支持大数据应用开发的共性基础软件与工具平台。例如以国际
开源软件基金会（Apache）等社区为平台，实现了技术的快速演进，IBM 等公司也以开源
软件为基础，包装了各自的商业化发行版本。Hadoop 是大数据领域非常重要的开源框架，
基于简单的编程模型，对大型数据集进行分布式处理。Spark 是面向大规模数据处理的通用
引擎，现已形成包括批处理、流式处理、统计分析、图计算等在内的数据分析软件栈。
TensorFlow 是将复杂的数据结构传输至人工智能神经网进行分析和处理的开源软件平台，
剩余12页未读，继续阅读
资源评论
