高性能计算平台解决方案.docx

高性能计算平台

解决方案

1

目 录

1 概述.......................................................................................................................................................... 4

1.1 建设背景........................................................................................................................................................4

1.2 设计范围........................................................................................................................................................4

1.3 总体设计原则................................................................................................................................................4

2.1 项目需求........................................................................................................................................................6

2.1.1

容量需求

2.1.2

吞吐量需求

.............................................................................................................................................6

2.1.3

扩展性需求

.............................................................................................................................................6

2.1.4

低成本需求

.............................................................................................................................................6

2.1.5

可维护性需求

2.1.6

接口需求

2.2 设计思想........................................................................................................................................................7

2.3 云存储系统方案............................................................................................................................................7

2.4 系统优势和特点............................................................................................................................................8

2.5 作业调度系统方案......................................................................................................................................10

2.5.1

高度可靠性

...........................................................................................................................................10

2.5.2

低依赖性

2.5.3

低干预性

2.5.4

高实时性

3 系统架构................................................................................................................................................ 11

3.1 平台系统基本组成......................................................................................................................................11

3.2 平台系统功能描述......................................................................................................................................13

3.2.1

平台分布式文件系统

3.2.2

存储访问接口

2

4.4 云平台安全审计..........................................................................................................................................30

5 工作机制................................................................................................................................................ 33

5.1 数据写入机制..............................................................................................................................................33

5.2 数据读出机制..............................................................................................................................................33

6 关键技术................................................................................................................................................ 35

6.1 负载自动均衡技术......................................................................................................................................35

6.2 高速并发访问技术......................................................................................................................................35

6.3 高可靠性保证技术......................................................................................................................................35

6.4 高可用技术..................................................................................................................................................36

6.5 故障恢复技术..............................................................................................................................................36

8.1.2

数据块恢复

...........................................................................................................................................38

8.1.3

元数据备份

...........................................................................................................................................38

8.2 平台数据完整性..........................................................................................................................................38

8.3 平台快照技术..............................................................................................................................................39

8.4 JOPKEEPER 故障处理技术...........................................................................................................................39

9 异地容灾与恢复技术............................................................................................................................. 41

9.1 平台数据备份与恢复系统功能..................................................................................................................41

9.1.1

自动备份

9.1.2

持续备份

9.1.3

完全备份

3

云存储平台与作业调度为本次高性能计算总体解决方案的一部分。主要针对海量的数据的

集中存储、共享、计算与挖掘，建立一套具有高可靠、可在线弹性伸缩，满足高吞吐量并发访

问需求的云存储与计算平台。为数据存储和高效计算提供便捷、统一管理和高效应用的基础平

台支撑。

本技术解决方案针对海量数据集中存储、共享与计算，提供从系统软硬件技术架构、原理、

硬件选型、网络接入以及软件与应用之间的接口等方面的全面设计阐述。

针对本次工程的实际情况,充分考虑系统建设的建设发展需求，以实现系统统一管理、高

效应用、平滑扩展为目标，以“先进、安全、成熟、开放、经济”为总体设计原则。

4

在进行系统设计时，充分考虑数据高可靠存储，采用高度可靠的软硬件容错设计，进行有

5