企业级大数据平台CDH详细搭建过程

1.cloudera manager简单介绍

Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集

群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

安装完成的界面.如下图:



2.cloudera manager主要核心功能

3.cloudera manager 的架构

慎选择！！



5.准备cloudera安装包

hadoop2

hadoop2

hadoop3

hadoop4

hadoop5

Mysql数据库信息

安装节点：hadoop2

用户：root

#所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --

shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

初始化数据库（只需要在Cloudera Manager Server节点执行）

#需要设置Mysql数据库的密码级别

mysql -u root -p123456

set global validate_password_policy=0;

set global validate_password_length=6;

[root@hadoop2 ~]# /opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -h hadoop2

-uroot -p'123456' --scm-host hadoop2 scm scm '123456'

JAVA_HOME=/usr/java/jdk1.8.0_211-amd64

Verifying that we can write to /opt/cm-5.14.0/etc/cloudera-scm-server

#所有节点手动创建文件夹

[root@hadoop2 ~]# mkdir /opt/cm-5.14.0/run/cloudera-scm-agent

[root@hadoop2 ~]# mkdir /opt/cm-5.14.0/run/cloudera-scm-agent

com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.14.0/etc/cloudera-scm-

server/db.properties com.cloudera.cmf.db.

[ main] DbCommandExecutor INFO Successfully connected

to database.

#显示初始化成功

All done, your SCM database is configured correctly!

[root@hadoop2 ~]#

脚本参数说明: ${数据库类型} -h ${数据库所在节点ip/hostname} -u${数据库用户名} -p${数据库密码} –scm-host

${Cloudera Manager Server节点ip/hostname} scm(数据库) scm(用户名) scm(密码)

server_host=hadoop2

#将如下文件放到CM Server-hadoop2节点的/opt/cloudera/parcel-repo/目录中:

#CDH-5.14.0-1.cdh5.14.0.p0.3-el7.parcel

#CDH-5.14.0-1.cdh5.14.0.p0.3-el7.parcel.sha1

#manifest.json

# 重命名sha1文件

[root@hadoop2 parcel-repo]# mv CDH-5.14.0-1.cdh5.14.0.p0.3-el7.parcel.sha1 CDH-5.14.0-

1.cdh5.14.0.p0.3-el7.parcel.sha

Server(hadoop2)节点