基于OpenStack的海量影像入库方案.pdf

【OpenStack海量影像入库方案】 本方案探讨了如何在OpenStack环境下高效地处理和存储海量的影像数据。OpenStack是一个开源的云计算平台，提供了一系列工具和服务，用于构建和管理基础设施即服务（IaaS）环境。在这个场景中，OpenStack被用来支持GIS（地理信息系统）应用的海量影像数据处理。 【系统组件与环境】 - **OpenStack Icehouse**：这是一个特定版本的OpenStack，用于构建云基础设施。 - **GIScript 2005 Python3**：GIScript是一个GIS脚本语言，这里使用Python3版本进行编程。 - **RabbitMQ 3.2.4**：作为消息队列，用于任务分发和异步处理，确保并行性和高效率。 - **Ubuntu 15.04**：操作系统，为整个系统提供运行环境。 - **SuperMap iDesktop 7.1.2**：GIS客户端，用于查看和操作地理数据。 - **Oracle 11.2.0.4**：关系型数据库，用于存储影像数据。 【影像数据】 测试数据集包含全球的Geotiff影像，总数据量约为2.67TB，分为南北半球，各占1-60分带，文件大小从200MB到7GB不等。这些分幅数据可以通过其文件名中的带号进行逻辑划分。 【处理流程与架构】 1. **数据逻辑划分**：利用消息队列（RabbitMQ）根据带号对影像数据进行逻辑划分，将每个带号下的Tiff影像路径写入job文本文件。 2. **任务发布与执行**：消息服务发出工作请求，Python服务器接收job文件，读取Tiff文件并进行处理，包括创建影像数据集、影像导入和追加镶嵌以及创建金字塔。 3. **存储与挂载**：数据库服务器挂载大容量存储，虚拟机通过mount命令挂载数据，确保所有组件都能访问相同路径，实现任务的无缝协作。 【数据导入策略】 有两种策略可选： 1. **全局地理坐标系**：将所有Tiff文件投影转换至同一坐标系，然后导入或镶嵌到全球影像数据集，最后创建金字塔。这种方法的优点是便于分布式集群切图，但当前GIScript2005不支持投影转换。 2. **分幅投影数据集**：创建分幅投影的影像数据集，根据Tiff文件的最大最小范围确定包络矩形。这种方式任务逻辑清晰，但可能导致切图效率降低。 【代码解析】 `CreateRasterDS`函数用于创建影像数据集。它遍历Tiff文件列表，获取每个文件的元数据，如宽度、高度、像素格式和边界信息，从而确定影像数据集的范围。这个过程涉及到UGC库（可能来自SuperMap）的使用，如`UGC.UGFileType.GTiff`、`UGC.UGImportParams.ModeIMG`等，用于处理GIS数据。 【安全考虑】 尽管该文档主要关注影像入库，但“安全”标签提示我们在实现这一方案时也需要关注数据的安全性。这可能涉及数据加密、访问控制、备份恢复策略以及对OpenStack组件的安全配置等方面，确保影像数据在传输、存储和处理过程中不会受到未经授权的访问或篡改。 这个基于OpenStack的海量影像入库方案利用了云环境的并行处理能力，通过消息队列和GIScript实现了影像数据的高效处理和存储。同时，安全因素也需纳入考量，以保护敏感的地理信息。