Install_guide-Rocky8-Warewulf-SLURM-2.3-x86

需积分: 10 179 浏览量 2021-11-10 21:32:21 上传评论收藏 548KB PDF 举报

《安装指南：Rocky 8-Warewulf-SLURM-2.3-x86_64》本文档是针对Linux高性能计算（HPC）集群搭建的详细指南，特别关注在Rocky 8.4操作系统上使用Warewulf和SLURM的版本。该文档更新于2021年6月26日，修订版号为411abc72d。OpenHPC（版本2.3）提供了集群构建的配方，旨在帮助用户构建基于Intel x86_64架构的高效能计算环境。 1. **目标受众** 本指南面向的是熟悉Linux系统管理，并希望构建和管理高性能计算集群的技术人员。无论是研究人员、系统管理员还是开发者，只要对HPC有需求，都能从中受益。 2. **需求与假设** 在开始之前，你需要一个干净的Rocky 8.4基础操作系统环境，以及对Linux系统的基本了解。此外，你还需要准备网络连接，以便下载和安装所需的OpenHPC组件和软件包。 3. **输入** 你需要准备的输入包括： - Rocky 8.4的安装媒体或网络ISO - OpenHPC仓库的访问权限 - 可用的硬件资源，包括主节点和计算节点 - 对Warewulf和SLURM的理解 4. **安装基础操作系统（BOS）** 你需要在所有节点上安装Rocky 8.4操作系统作为基础环境。这包括主节点和所有计算节点。确保在安装过程中配置好网络设置，以便后续的仓库访问和节点通信。 5. **安装OpenHPC组件** 为了利用Warewulf和SLURM的功能，你需要启用OpenHPC仓库并安装相关组件。这通常涉及添加仓库密钥，更新包列表，然后安装一系列工具和服务，如Warewulf、SLURM、InfiniBand或Omni-Path支持服务。 - **启用OpenHPC仓库**：在主节点上，你需要配置本地系统以使用OpenHPC仓库，这样可以获取到所需的软件包。 - **安装模板**：根据你的集群需求，选择合适的安装模板，这些模板会定义节点的角色和服务。 - **在主节点上添加配置服务**：这包括设置网络配置、认证机制和其他必要的服务，以便向计算节点提供配置信息。 - **在主节点上添加资源管理服务**：SLURM是常用的资源管理和调度器，需要在主节点上安装和配置。 - **可选地添加InfiniBand支持服务**：如果硬件支持，你可以安装InfiniBand驱动和管理工具，以实现高速网络通信。 - **可选地添加Omni-Path支持服务**：类似地，如果采用Omni-Path架构，也需要相应的驱动和服务。 - **完成基本的Warewulf设置**：这包括配置网络、设置存储池和启动服务，使得主节点能够为计算节点提供启动映像。 - **定义计算图像**：构建用于节点配置的初始BOS映像是非常关键的步骤，这决定了节点的基础软件环境。 6. **构建计算图像** - **构建初始BOS映像**：这涉及到创建一个包含基本操作系统和任何预装软件的映像。这个映像将被复制到计算节点，作为它们启动的基础。 7. **后续步骤** 安装和配置完成后，你需要测试和验证集群的功能，如节点的加入、SLURM的调度、网络通信和性能监控。这可能包括运行简单的测试工作负载，检查节点状态，以及优化配置以满足特定的工作负载需求。通过遵循《Install Guide (v2.3): Rocky 8.4/x86 64 + Warewulf + SLURM》，你可以成功地构建一个基于Linux的高性能计算集群，利用Warewulf的强大部署能力和SLURM的高效调度，为科学研究和大数据处理提供强大的计算平台。

资源推荐

资源详情

资源评论

OpenHPC (v2.3)

Cluster Building Recipes

Rocky 8.4 Base OS

Warewulf/SLURM Edition for Linux* (x86 64)

Document Last Update: 2021-06-26

Document Revision: 411abc72d

Install Guide (v2.3): Rocky 8.4/x86 64 + Warewulf + SLURM

Contents

1 Introduction 5

1.1 Target Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.2 Requirements/Assumptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

1.3 Inputs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

2 Install Base Operating System (BOS) 7

3 Install OpenHPC Components 8

3.1 Enable OpenHPC repository for local use . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

3.2 Installation template . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.3 Add provisioning services on master node . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

3.4 Add resource management services on master node . . . . . . . . . . . . . . . . . . . . . . . . 10

3.5 Optionally add InﬁniBand support services on master node . . . . . . . . . . . . . . . . . . . 10

3.6 Optionally add Omni-Path support services on master node . . . . . . . . . . . . . . . . . . . 11

3.7 Complete basic Warewulf setup for master node . . . . . . . . . . . . . . . . . . . . . . . . . . 11

3.8 Deﬁne compute image for provisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.8.1 Build initial BOS image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.8.2 Add OpenHPC components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

3.8.3 Customize system conﬁguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

3.8.4 Additional Customization (optional) . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.8.4.1 Enable InﬁniBand drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.8.4.2 Enable Omni-Path drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.8.4.3 Increase locked memory limits . . . . . . . . . . . . . . . . . . . . . . . . . . 14

3.8.4.4 Enable ssh control via resource manager . . . . . . . . . . . . . . . . . . . . . 15

3.8.4.5 Add BeeGFS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.8.4.6 Add Lustre client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

3.8.4.7 Enable forwarding of system logs . . . . . . . . . . . . . . . . . . . . . . . . . 16

3.8.4.8 Add Nagios monitoring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.8.4.9 Add ClusterShell . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

3.8.4.10 Add genders . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.8.4.11 Add Magpie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.8.4.12 Add ConMan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

3.8.4.13 Add NHC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.8.4.14 Add GEOPM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.8.5 Import ﬁles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

3.9 Finalizing provisioning conﬁguration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.9.1 Assemble bootstrap image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.9.2 Assemble Virtual Node File System (VNFS) image . . . . . . . . . . . . . . . . . . . . 20

3.9.3 Register nodes for provisioning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

3.9.4 Optional kernel arguments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.9.5 Optionally conﬁgure stateful provisioning . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.10 Boot compute nodes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

4 Install OpenHPC Development Components 24

4.1 Development Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4.2 Compilers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4.3 MPI Stacks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

4.4 Performance Tools . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

4.5 Setup default development environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

3 Rev: 411abc72d

Install Guide (v2.3): Rocky 8.4/x86 64 + Warewulf + SLURM

1 Introduction

This guide presents a simple cluster installation procedure using components from the OpenHPC software

stack. OpenHPC represents an aggregation of a number of common ingredients required to deploy and

manage an HPC Linux* cluster including provisioning tools, resource management, I/O clients, develop-

ment tools, and a variety of scientiﬁc libraries. These packages have been pre-built with HPC integration

in mind while conforming to common Linux distribution standards. The documentation herein is intended

to be reasonably generic, but uses the underlying motivation of a small, 4-node stateless cluster installation

to deﬁne a step-by-step process. Several optional customizations are included and the intent is that these

collective instructions can be modiﬁed as needed for local site customizations.

Base Linux Edition: this edition of the guide highlights installation without the use of a companion con-

ﬁguration management system and directly uses distro-provided package management tools for component

selection. The steps that follow also highlight speciﬁc changes to system conﬁguration ﬁles that are required

as part of the cluster install process.

1.1 Target Audience

This guide is targeted at experienced Linux system administrators for HPC environments. Knowledge of

software package management, system networking, and PXE booting is assumed. Command-line input

examples are highlighted throughout this guide via the following syntax:

[sms]# echo "OpenHPC hello world"

Unless speciﬁed otherwise, the examples presented are executed with elevated (root) privileges. The

examples also presume use of the BASH login shell, though the equivalent commands in other shells can

be substituted. In addition to speciﬁc command-line instructions called out in this guide, an alternate

convention is used to highlight potentially useful tips or optional conﬁguration options. These tips are

highlighted via the following format:

Tip

Life is a tale told by an idiot, full of sound and fury signifying nothing. –Willy Shakes

1.2 Requirements/Assumptions

This installation recipe assumes the availability of a single head node master, and four compute nodes. The

master node serves as the overall system management server (SMS) and is provisioned with Rocky 8.4 and is

subsequently conﬁgured to provision the remaining compute nodes with Warewulf in a stateless conﬁguration.

The terms master and SMS are used interchangeably in this guide. For power management, we assume that

the compute node baseboard management controllers (BMCs) are available via IPMI from the chosen master

host. For ﬁle systems, we assume that the chosen master server will host an NFS ﬁle system that is made

available to the compute nodes. Installation information is also discussed to optionally mount a parallel

ﬁle system and in this case, the parallel ﬁle system is assumed to exist previously.

An outline of the physical architecture discussed is shown in Figure 1 and highlights the high-level

networking conﬁguration. The master host requires at least two Ethernet interfaces with eth0 connected to

the local data center network and eth1 used to provision and manage the cluster backend (note that these

5 Rev: 411abc72d

剩余54页未读，继续阅读

评论收藏

内容反馈

lesite

粉丝: 0
资源: 3

Install_guide-Rocky8-Warewulf-SLURM-2.3-x86_64.pdf

最新资源

Install_guide-Rocky8-Warewulf-SLURM-2.3-x86_64.pdf

Install_guide-CentOS7-Warewulf-SLURM-1.3.9-x86_64.pdf

Install_guide_CentOS7_Warewulf_SLURM_1.3.4_x86_64.pdf

slurm安装指南

Rocky Linux8.5安装教程

英特尔X86-64程序员参考手册

x86_64汇编调试程序初步

Slurm编译的RPM包

openssl-1.0.2k-24.el7-9.x86-64.rpm包

openstack安装包（一）

kernel-lt-5.4.264-1.el7.elrepo.x86-64.rpm

20240703编译的openssh9.8P1，适用于BCLinux21.10，x86架构rpm包

linux上安装oracle数据库的依赖包

slurm 软件下载

python2-qpid-proton-0.22.0-1.el7.x86_64.rpm

Rocky-8.7-x86-64-dvd1.part08.rar

kernel-headers-4.18.0-477.13.1.el8-8.x86-64.rpm

webkitgtk3-2.4.11-2.el7.x86_64.rpm

Rocky linux x86系统内核离线安装包

db4-4.7.25-17.el6.x86_64.rpm

kernel-5.14.0-284.66.1.el9-2.x86-64.rpm

CentOS_6.2_x86_64操作系统

ebtables-2.0.10-16.el7.x86_64.rpm

libappindicator-gtk3.rar

device-mapper-multipath-0.8.4-17.el8.x86_64.rpm

openstack_rocky.tar.gz

openssh9.8p1-x86-64-el9.tgz

openssh-9.6p1-1.el9.x86-64-rockylinux9.tgz

Rocky-Linux-8.6-x86_64.rar

gcc4.8.5离线安装包

mysql-5.7.38二进制包

最新资源