没有合适的资源？快使用搜索试试~ 我知道了~

文库首页存储其它ceph集群运维操作.pdf

ceph集群运维操作.pdf

ceph

需积分: 48 34 下载量 64 浏览量 2020-02-27 23:24:23 上传评论收藏 1.86MB PDF 举报

温馨提示

试读

25页

学习ceph分布式存储通过官方文档资料以及自己的操作整理的问题解决手册，包括：恢复和再平衡/编辑 CRUSH map/定制集群布局/使用s3 browser工具操作ceph对象存储桶/快–慢存储方案 /主-备存储方案/测试集群的读写带宽/OSD操作/缓冲池的建立与管理还算比较详细，写来不易。

资源推荐

资源详情

资源评论

ceph集群的优化操作

恢复和再平衡

全局Ceph节点宕机处理

当遇到极端的情况下，例如整个集群设备突然断电；造成集群全局宕机，可以按照节点所示流程进行

Ceph 集群上电恢复操作。

手动上电执行步骤

1. 如为 Ceph 集群上电，monitor server 应最先上电；集群上电确认使用 Ceph 的前端作业服务已

停止。

2. 使用 IPMI 或于设备前手动进行上电

3. 确认NTP 服务及系统时间已同步，命令如下：

4. 登入上电之 ceph server 确认 ceph service 已正常运行，

命令如下：

5. 登入集群 monitor server 查看状态，OSD 全都 UP 集群仍为 noout ﬂag(s) set

6. 登入 monitor server 解除 shopping w/out rebalancing，

命令如下：

恢复后检查步骤

1. 由于ceph 集群中的数据可能比较大所以恢复时间可能较长；当上电成功后ceph集群要通过

自己的恢复程序将 PG 中的数据逐步恢复出来。

2. 使用命令 ceph -s 查看此时的集群状态和各个节点是否都已加入到集群中

3. ceph osd tree OSD状态皆为UP

恢复后使用指令及其说明

1. ceph -s ：确认 ceph cluster status

2. ceph -w ：查看集群运作输出

#ps -ef | grep ntp

#data

#ntpq -p

#ps -ef | grep ceph

#ceph -s

#ceph osd tree

#ceph osd unset noout

#ceph -w

3. ceph osd tree ：查看ceph cluster上osd排列及状态

4. start ceph-all ：启动所有 ceph service

5. start ceph-osd-all ：启动所有 osd service

6. start ceph-mon-all ：启动所有 mon service

7. start ceph-osd id={id} ：启动指定 osd id service

8. start ceph-mon id={hostname} ：启动指定 ceph monitor

host

9. ceph osd set noout ： ceph stopping w/out rebalancing

10. ceph osd unset noout ：解除ceph stopping w/out

rebalancing

单个Ceph节点宕机处理

1. 登录 ceph monitor 节点，查询 ceph 状态：

ceph health detail

2. 模拟单个节点故障；将某个节点的 OSD 设备从 crushmap 中移除，该步骤会触发数据

reblance，

编辑 CRUSH map

1）提取已有的CRUSH map。使用 -o 参数，Ceph将输出一个经过编译的CRUSH map到指定的文件

2）反编译CRUSH map。使用 -d 参数指定需要反编译的CRUSH map ，通过 -o 指定反编译的输出文

件：

3）使用任何编辑器编辑CRUSH map:

例：

4 ) 重新编译这个新的 CRUSH map:

5 )将新的 CRUSH map 应用到 Ceph 集群巾:

6）可在编译出的CRUSH map中依据osd设备大小设置权重

具体CRUSH map 中的设定可参考https://blog.csdn.net/heivy/article/details/50592244

定制集群布局

CRUSH层级结构

#ceph osd getcrushmap -o crushmap.txt

#crushtool -d crushmap.txt -o crushmap-decomplie

#vim crushmap-decomplie

#crushtool -c crushmap-decompile -o crushmap-compiled

#ceph osd setcrushmap -i crushmap-compiled

osd 的权重默认：1.00相关于1TB，0.50相关与500GB，3.00相关于3TB；

数据传输速率较慢的可略低于此相关率，速率较快的可略高于此相关率。

CRUSH 是完全了解所有基础设施并支持用户自定义配置的，它维护你所有基础设施组

件的一个嵌套层次结构。 CRUSH 设备列表通常包括磁盘、节点、机架 ( rack) 、行 ( row) 、开关、电

源电路、房间、数据中心等。这些组件称为故障域或 CRUSH bucketo CRUSH map包含一系列可用

bucket ，这些 bucket 表明了设备的具体物理位置。它还包拆一系列的规则告诉 CRUSH 如何为不同

的 Ceph 池复制数据。从下图可以看到 CRUSH 是如何看待你的基础设施的。

根据基础设施， CRUSH 跨故障域来传播数据及其副本，因而即使一些组件出锚，数据

也是安全的。这就是 CRUSH 如何排除掉存储基础设施(它由商用软件组成)的单点故障问题，同时保证

高可用性。 CRUSH 均匀地在整个集群磁盘上写数据，这样提高了性能和可靠性，并强制集群中的所有

磁盘参与其中。它确保集群所有磁盘都同等地利用，而不考虑它们的能力。为此， CRUSH 为每个

OSO 分配权重。 OSO 的权重越高，表示它的物理存储容量越大，这样 CRUSH 将会写入更多数据到这

个 OSD 上。因此，较低权重的 OSO 与较高权重的 OSO 都同等地被填充数据。

定制集群布局

定制一个集群布局是建立一个健壮且可靠的 Ceph 存储集群巾最重要的一个步骤这与

将集群硬件放置在一个故障区域中并从 Cepb 软件的角度进行高可用布局一样重要。默认的Cepb 部

署是不知道非交互式组件的，如机架、行和数据中心。在初始化部署之后，我们需要按要求来定制布

局。举个例子 .如果你执行 ceph osd tree 命令.你会注意到在 root 下只有主机和 OSD ，这就是默认设

置。下面让我们尝试将这些主机分配到机架 :

1）执行 ceph osd tree 来获取当前的集群布局

2）在Ceph集群布局中添加几个新的机架：

3）移动主机到指定的机架下：

4）现在，移动每一个机架到默认根下：

5）检查新的布局，你会发现所有的主机都已经移动到指定的机架下。使用这种方法，可以定制CRUSH

布局来补充物理布局：

#ceph osd crush add-bucket rack01 rack

#ceph osd crush add-bucket rack02 rack

#ceph osd crush add-bucket rack03 rack

#ceph osd crush move ceph-node1 rack=rack01

#ceph osd crush move ceph-node2 rack=rack02

#ceph osd crush move ceph-node3 rack=rack03

#ceph osd crush move rack03 root=default

#ceph osd crush move rack02 root=default

#ceph osd crush move rack01 root=default

剩余24页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

weixin_38735531

粉丝: 2

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

ceph集群运维操作.pdf

ceph官网文档pdf版

Centos7搭建CEPH集群运维测试与实验文档

ceph常见运维指令

Ceph基础运维手册.doc

Ceph 管理员手册-中文版.pdf

ceph基础运维

Ceph存储管理指南中文版.pdf

部署Ceph分布式存储集群

实战搭建Ceph分布式存储系统.pdf

藏经阁-TiDB在Kubernetes平台的自动化运维实践.pdf

Mirantis OpenStack运维手册.pdf

TCE对象存储CSP运维手册.pdf

分布式数据库在容器平台运维实践.pdf

搭建基于docker的3节点 Ceph集群.pdf

Ceph分布式存储系统介绍.pdf

分布式数据库系统TiDB在Kubernetes平台的自动化运维实践.pdf

Ceph详细英文文档.pdf

ceph常用操作和故障排查.pdf

ceph知识树.pdf

Learning Ceph.pdf

云计算分布式存储系统典型运维问题的分析.pdf

RedHat Ceph分布式存储-硬件服务器选型.pdf

OpenStack高可用集群(下册) 部署与运维【PDF】

Ceph Cookbook pdf版 压缩文件

基于ceph构建PB级对象存储实践-JD金融.pdf

6-1+滴滴Elasticsearch集群跨版本升级以及平台重构.pdf

CEPH_COOKBOOK

华为工程师linux的笔记-第2章 .pdf

华为工程师linux的笔记-第3章 .pdf

最新资源

Ceph Cookbook pdf版压缩文件