CDH上安装spark2的操作说明

### CDH上安装Spark2的操作说明 #### 一、引言 随着大数据处理技术的不断发展，Apache Spark作为一款快速、通用的大数据处理引擎，在实际应用中的需求也日益增长。为了更好地利用Spark的强大功能，有时我们需要在现有的Cloudera Data Hub (CDH) 集群上安装最新版本的Spark。本文将详细介绍如何在CDH上安装Spark 2.x版本的过程，特别是Spark 2.1版本的安装步骤。 #### 二、安装准备 ##### 2.1 需求分析 在开始安装之前，需要明确当前CDH集群中已经安装的Spark版本。在本文案例中，原始CDH集群默认安装的是Spark 1.6版本。为了充分利用Spark 2.x的新特性和性能提升，需要升级Spark版本至2.x。 ##### 2.2 下载资源 - **CSD包**：这是Cloudera签名的软件包，包含安装Spark所需的组件和依赖项。 - 下载链接：[http://archive.cloudera.com/spark2/csd/](http://archive.cloudera.com/spark2/csd/) - 注意选择与操作系统版本相匹配的CSD包，例如对于CentOS 7，应下载针对el7的包。 - **Parcel包**：包含编译好的Spark二进制文件和其他必要的配置文件。 - 下载链接：[http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/](http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/) - 同样需要注意选择正确的版本（如.cloudera1或.cloudera2）和操作系统类型（el6或el7）。 ##### 2.3 安装环境确认 确保每个CDH节点的操作系统版本一致，并且都具备网络访问权限以下载相关安装包。 #### 三、安装步骤 ##### 3.1 停止集群 虽然在安装过程中不停止集群也是可行的，但为了确保安装过程顺利进行，建议先停止CDH集群和Cloudera Management Service。 ##### 3.2 上传CSD包 - 将下载的CSD包上传到每个节点的`/opt/cloudera/csd`目录下。 - 修改文件的所有者和组，以确保Cloudera SCM服务能够正确读取该文件： ```bash chgrp cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar chown cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar ``` ##### 3.3 上传Parcel包 - 将下载的Parcel包上传到每个节点的`/opt/cloudera/parcel-repo`目录下。 - 如果存在同名的`manifest.json`文件，需先对其进行重命名备份。 ##### 3.4 重启Cloudera SCM服务 - 在CM Server节点执行以下命令重启Cloudera SCM服务： ```bash service cloudera-scm-agent restart service cloudera-scm-server restart ``` ##### 3.5 安装Parcel - 登录到Cloudera Manager Web UI，进入Parcels页面，找到Spark 2.1.0 parcel。 - 点击“Install”按钮开始安装进程。 - 安装完成后，对所有节点进行激活操作。 #### 四、验证安装 完成以上步骤后，可以通过以下几种方式来验证Spark 2.1是否已成功安装： 1. **检查版本**：在每个节点上通过命令`spark-shell --version`检查Spark版本。 2. **测试运行**：启动一个简单的Spark作业，例如WordCount任务，以确保新版本的Spark能够正常工作。 3. **检查配置**：确保Spark 2.1的相关配置文件被正确加载和使用。 #### 五、注意事项 - 在安装过程中，务必注意CSD包和Parcel包版本的一致性，避免因版本不匹配导致安装失败。 - 安装过程中可能遇到各种问题，例如权限错误或网络连接问题等，这些问题需要根据具体情况进行解决。 #### 六、总结 本文详细介绍了如何在CDH上安装Spark 2.1版本的过程，包括准备工作、具体步骤以及验证安装结果等环节。通过遵循这些步骤，可以在现有的CDH集群中顺利地升级Spark版本，从而更好地满足数据分析和处理的需求。