CDH搭建hadoop环境文档指南_cdhhadoop下载地址资源-CSDN文库

hadoop

spark

需积分: 9 17 浏览量 2017-10-24 09:02:03 上传评论收藏 1.41MB PDF 举报

资源推荐

资源详情

资源评论

⼤数据安装部署⼤数据安装部署 CDH版版

1. Cloudera Manager 流程图流程图

CDH部署流程

1.1 节点⾓⾊分配节点⾓⾊分配

以下节点⾓⾊分配是针对5台机器的，其他情况可⾃⾏调整，保证各服务均衡配置，不要都集中在同⼀个节点上。

CDH节点⾓⾊分配

其他⾓⾊分配

2. 安装准备安装准备

⼤数据安装部署CDH版

1/32

2.1 硬件要求硬件要求

CDH集群提供集群保证服务的⾼可⽤性，因此集群必须是3台以上服务器组成，最好是单独的物理服务器，⽽⾮虚

拟机，并且虚拟机和物理机不要混⽤。

基本配置

节点数节点数内存内存 CPU 磁盘磁盘⽹卡⽹卡

3个起 64G起 8核起 1T 起千兆以上

特别注意：搭建hadoop环境前请先检查好各个机器节点的磁盘挂载情况，

1. 保证数据盘和系统盘是挂载在不同⽬录下的，并且/var/log⽬录最好单独分区挂载，⼤⼩在50G——150G左右，具

体视硬件情况⽽定，但建议不要⼩于50G，CDH 安装组件⼤部分的⽇志路径默认都在/var/log下，如果这⾥设置好，后

⾯很多路径不⽤重新修改，可以保证CDH组件稳定的运⾏；

2. 以上挂载的⽬录检查是否都写⼊了/etc/fstab中，很多新装的机器默认是临时挂载，没有写⼊该⽂件中，当机器重启

后，原来挂载的磁盘⽬录会消失，但数据没有丢失，需要重新mount；

3. 确认机器的系统版本多少，以CentOS为例，现在⽤的⽐较普遍的是CentOS6和CentOS7，系统版本不同，CDH选

择的安装包也不同，要保证整个集群中的操作系统版本⼀致，保证各节点同类软件版本⼀致；

4. 如果有多台机器（因为HDFS分布式存储的要求，建议3台以上），建议在两台不同的机器上分别部署MySQL，⼀

台专门为CDH服务，⼀旦服务正式启动，没有特殊需求，不要去动该台上⾯的MySQL服务，另外⼀台⽤来为业务服

务，当然，如果有RDS，那就没必要⾃⼰⼿动搭建MySQL。

2.2 操作系统要求操作系统要求

系统系统版本版本

RedHat、Centos 6 或者7

2.3 软件要求软件要求

CDH 集群搭建需要的安装包包括JDK、Cloudera-Manager RPM包（3个），CDH parcel⽂件（3个）、MySQL或

者MariaDB。

具体版本如下，下表列出的除上述组件外的其他组件可以选择性安装

组件组件版本版本类型类型备注备注

JDK jdk8_91 tar包 Oracle JDK

daemons

5.7.1-

el6.x86_64

rpm

包

cloudera-manager-daemons-5.7.1-1.cm571.p0.8.el6.x86_64.rpm

CM agent 5.7.1-

el6.x86_64

rpm

包

cloudera-manager-agent-5.7.1-1.cm571.p0.8.el6.x86_64.rpm

server

5.7.1-

el6.x86_64

rpm

包

cloudera-manager-server-5.7.1-1.cm571.p0.8.el6.x86_64.rpm

CDH 5.7.1-el6 parce

l包

CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel，CDH-5.7.1-1.cdh5.7.1.p0.11-

el6.parcel.sha1，manif est.json

MySQL 5.6.30 tar包 mysql-5.6.30-linux-glibc2.5-x86_64.tar.gz

MariaDB 10.1 zip包

Jstorm 2.1.0 tar包 jstorm_2.1.0.tar.gz

Elasticse

arch

2.3.3 tar包 elasticsearch-2.3.3.tar.gz

⼤数据安装部署CDH版

2/32

Azkaban 3.0 tar包 azkaban2.sql，Azkaban-exec-server-3.0.0.tar.gz，Azkaban-web-server-

3.0.0.tar.gz

Redis 2.8.19 tar包 redis-2.8.19.tar.gz

Kaf ka 0.9.0.0 tar包 kaf ka_2.10-0.9.0.0.tgz

Tomcat 8.5.9 zip包 apache-tomcat-8.5.9

组件组件版本版本类型类型备注备注

注意：如果是centos 7的环境，需要下载对应centos 7的cloudera-daemon,cloudera-manager-agent,cloudera-

manager-server和CDH parcel⼆进制包，官⽹的下载链接如下：

CDH parcel包：http://archive.cloudera.com/cdh5/parcels/

CM RPM包：http://archive.cloudera.com/cm5/

2.4 ⽤户权限要求⽤户权限要求

CDH的安装需要root⽤户权限，且root密码需要配置⼀样的

3. 安装前的检查安装前的检查

3.1 系统检查系统检查

针对centos和Redhat的操作系统执⾏以下命令查看版本信息，确保各节点的操作系统版本⼀致且下⾯的命令可以

正常执⾏，这个版本信息会影响下⾯CDH的安装。

3.2 系统磁盘分区检查系统磁盘分区检查

系统安装和运⾏需要占⽤硬盘空间

"/" 的系统分区要单独挂出，以100G⼤⼩为宜；

推荐把每个物理磁盘挂载在/mnt/disknn (nn为1⾄2位的数字) 上不同的挂载点。建议使⽤ext4⽂件系统。这样

CDH不是说HDFS等服务时可以统⼀选择⽬录；

系统分区的挂载信息需要写⼊ /etc/f stab⽂件，防⽌机器重启后，磁盘挂载信息丢失；

/var/log ⽬录建议单独挂载，建议不低于100G，各种服务的⽇志默认保存在该⽬录下，不单独挂载，会默认

放在根⽬录下，导致根⽬录很快被⽤完；

⼤⼩⼤⼩挂载⽬录挂载⽬录⽂件系统类型⽂件系统类型

100G / ext4

100G /var/log ext4

1T /mnt/disk1 ext4

1T /mnt/disk2 ext4

3.3 JDK版本及路径检查版本及路径检查

推荐安装JDK8版本，JDK必须⽤Oracle JDK，JAVA_HOME必须设置在 /usr/java ，如果没有该路径，请⾃⾏创

建，并给予755权限

将jdk-8u91-linux-x64.gz拷贝到要安装的⽬录/usr/java解压

cat /etc/redhat-release

$ mkdir -p /usr/java

⼤数据安装部署CDH版

3/32

剩余31页未读，继续阅读

评论收藏

内容反馈

yiyezhiqiu425

粉丝: 0
资源: 1

CDH搭建hadoop环境文档指南

cdh hadoop官方安装文档

cdh安装文档

hadoop之cdh

CDH 5.5.0 - 安装文档(Hadoop详细版)

cdh6.1.0搭建手册.pdf

CDH安装手册.rar_cdH_hadoop_hadoop安装手册_大数据_安装部署

hadoop cdh5安装

CDH6.2.0最全安装包

CDH最新版本5.15.1下载

hadoop-2.6.0-cdh5.7.0版本.zip

CDH搭建hadoop流程.doc

hadoop环境的搭建

hadoop环境搭建

HADOOP集成组件CDH安装部署详细教程

hadoop cdh版本伪分布式集群搭建图文教程

CDH离线搭建文档

CDH详细安装教程

CDH6离线安装 -

cdh5.3.pdf

大数据-Hadoop环境搭建(单机)

hadoop-2.6.0-cdh5.10.0.tar.gz

hadoop-2.6.0-cdh5.14.0.rar

hadoop 环境搭建

最新资源