CDH版本升级操作手册

### CDH版本升级操作手册详解 #### 前言与背景 随着Cloudera Hadoop发行版（简称CDH）的不断发展与迭代，新版CDH带来了更多功能与性能上的优化，使得用户能够更好地应对大数据处理的需求。为了充分利用这些新特性，进行CDH版本升级成为了一项必要的工作。本文档旨在提供一个详细的CDH版本升级指南，该指南已通过实际生产环境验证。 #### 升级目标与环境 - **目标版本**：Cloudera Manager (CM) 由5.7.1升级至5.14.2；CDH版本相应升级。 - **操作系统**：Linux CentOS 6.5 - **升级方式**：主要采用Package升级方式。 #### 准备工作 在正式开始升级之前，确保以下准备工作已经完成： 1. **软件包准备**： - Cloudera Manager Server：`cloudera-manager-server-5.14.2-1.cm5142.p0.8.el6.x86_64.rpm` - Cloudera Manager Daemons：`cloudera-manager-daemons-5.14.2-1.cm5142.p0.8.el6.x86_64.rpm` - Cloudera Manager Agent：`cloudera-manager-agent-5.14.2-1.cm5142.p0.8.el6.x86_64.rpm` - CDH Parcel：`CDH-5.14.2-1.cdh5.14.2.p0.3-el6.parcel` 2. **兼容性检查**：确认目标版本5.14.2与当前使用的操作系统版本CentOS 6.5兼容。详情请参阅官方文档链接：[Cloudera版本兼容性](https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#xd_583c10bfdbd326ba--5a52cca-1476e7473cd--7f8d)。 3. **JDK升级**：确保所有服务器的Java版本升级至1.8。这一步骤可以通过Cloudera Manager Web界面完成：导航至“主机(Hosts)”>“所有主机(AllHosts)”>“配置(Configuration)”>“类别(CATEGORY)”>“高级(Advanced)”中进行设置。 #### CM升级流程 ##### 版本确认与服务停止 - **确认版本**：目标版本为5.14.2。 - **停止服务**：在CM界面中依次选择“Cluster”>“Cloudera Manager service”>“Action”>“Stop”，以停止当前正在运行的服务。 ##### 关闭CM服务 在终端执行如下命令来停止Cloudera Manager服务： ```bash sudo service cloudera-scm-server status sudo service cloudera-scm-agent status sudo service cloudera-scm-server stop sudo service cloudera-scm-agent stop ``` 确保在所有相关节点上都执行以上命令。 ##### 数据库备份 在CM server机器上备份CM数据库。具体操作是备份`/etc/cloudera-scm-server/db.properties`文件。 ##### CM软件包安装与升级 - 将准备好的rpm文件上传至`/opt`目录。 - 在server机器上需上传`cloudera-manager-server`、`cloudera-manager-daemons`以及`cloudera-manager-agent`三个文件；在agent机器上则只需`cloudera-manager-daemons`和`cloudera-manager-agent`两个文件。 - 执行升级命令： ```bash sudo yum localinstall cloudera-manager-* ``` - 验证安装结果： ```bash rpm -qa | grep cloudera ``` ##### 配置文件更新 - 在每台agent机器上，将旧的`config.ini`文件中的用户自定义配置复制到新的`config.ini.rpmnew`文件中，并重命名为`config.ini`。 - 删除旧的`config.ini`文件。 ##### 启动CM服务 在各服务器上重启Cloudera Manager服务： ```bash sudo service cloudera-scm-server start sudo service cloudera-scm-agent start ``` 确保在所有相关节点上都执行以上命令。 #### 总结 本文详细介绍了如何将Cloudera Manager从5.7.1版本升级到5.14.2版本的过程，包括前期准备、JDK升级、服务停止与重启等关键步骤。通过遵循这些步骤，可以顺利完成版本升级，进而利用新版CDH提供的新特性和优化功能。此外，为确保升级过程的顺利进行，建议在正式环境升级前先在测试环境中模拟整个流程。