气象大数据云平台的监控系统设计.pdf

随着大数据时代的到来，气象数据的收集、分析与应用成为支持气象预报服务业务的重要基础。本文介绍了一个监控系统的设计，该系统针对内蒙古气象部门的核心信息化支撑平台——气象大数据云平台（天擎）。目的是确保气象历史数据的完整性，从而提高整个平台数据导入的质量与可靠性。 关键词气象大数据、云平台、天擎、数据完整、监控 一、气象大数据与云平台 气象大数据指的是关于大气状态和变化的海量数据，这些数据涵盖了温度、湿度、风速、气压等多种观测指标，它们不仅数量庞大，还具有多样性和时效性的特点。这些数据需要高效处理和分析，以便为气象预报提供支持。 云平台在这里指的是一个能够提供气象大数据存储、计算、分析和分发服务的信息化环境。云平台通过集中资源，使用户能够通过网络访问共享资源池，实现资源的动态分配和快速部署，从而提升数据处理的效率与灵活性。 二、监控系统的设计 监控系统的设计需要包括以下功能模块： 1. 资料清单导入：在监控系统中导入气象观测资料的详细清单，这是系统设计的前提和基础。 2. 入库完整性统计：监控系统需要对“天擎”平台中已有的历史气象资料与“CIMISS”共享平台中的资料进行比对和校验，确保导入的资料是完整的。 3. 入库完整性展示：将入库完整性的统计结果展示出来，供监控者进行分析和处理。 监控系统采用B/S架构，即浏览器/服务器架构，客户端通过浏览器访问服务端资源，这种架构便于系统管理和数据共享。 系统开发采用JAVA和JavaScript作为主要开发语言，使用Eclipse作为开发工具。在核心技术方面，ETL（Extract, Transform, Load）同步工具和KETTLE调度工具是实现数据处理的关键。ETL工具负责从各个数据源抽取数据，并进行清洗、转换，最终装载到目标数据库中。而KETTLE则用于调度和管理这些ETL作业，提高数据处理的自动化水平。 系统的核心技术还包括Web服务器，文中使用了apache-tomcat-8.0.33版本的Web服务器。 三、系统功能与实现 1. 资料清单制定：优先导入常用的8大类、72小类气象观测资料，并根据用户需求逐渐扩充更多种类的资料。 2. 入库完整性统计：利用ETL进行“天擎”历史资料的数据完整性和数据完整性重算统计。系统通过预设的资料清单，完成各类资料的入库完整性统计。ETL工作流程包括转换和作业两个核心对象。转换涉及多个步骤，比如读取文件、过滤输出行、数据清洗或装载到数据库。作业是更高层次的处理流程，可以包含多个作业项，而转换本身也可以视为作业项之一。 总结而言，本文所介绍的气象大数据云平台监控系统设计，强调了数据完整性的重要性，并提供了相应的技术实现方案。通过系统监控确保了气象数据的质量，为气象预报和研究提供了可靠的基础数据支持。随着大数据技术的不断发展和更新，气象数据处理的准确度和实时性将得到不断提升，进而极大推动气象服务的质量与效率。