没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
40页
CDH6.3.2集群部署手册是用于指导用户在其环境中部署Cloudera Distribution for Hadoop(CDH)版本6.3.2的文档。CDH是一个开源的大数据管理平台,旨在简化大数据的管理和操作,并提供各种工具和组件来处理和分析大规模数据集。 这份部署手册包含了一系列详细的步骤和指导,用于在集群中安装、配置和管理CDH版本6.3.2。它涵盖了各种方面,包括硬件和软件要求、环境准备、安装CDH服务和组件、配置集群、启动服务、故障排除等内容。通过按照手册提供的步骤逐步操作,用户可以顺利地搭建一个稳定、可靠的CDH集群,用于其大数据处理和分析需求。
资源推荐
资源详情
资源评论
没有梦想的咸鱼 yi
CDH 集群部署手册
没有梦想的咸鱼 yi
目录
1. 导言.........................................................................................................................4
1.1 说明...............................................................................................................4
2. ECS 云服务器说明..................................................................................................4
2.1 操作系统.......................................................................................................4
2.2 云服务器.......................................................................................................4
2.3 系统用户........................................................................................................4
2.4 集群清单及安装规划 ...................................................................................5
3. 大数据组件安装.....................................................................................................5
3.1 环境安装.......................................................................................................5
3.1.1 yum 安装常用包 ................................................................................5
3.1.2 修改主机名称 ...................................................................................6
3.1.3 关闭防火墙与关闭开机自启 ...........................................................6
3.1.4 关闭 SELINUX ....................................................................................6
3.1.5 打开文件最大限制 ...........................................................................6
3.1.6 关闭 THP ............................................................................................6
3.1.7 同步时间 ...........................................................................................7
3.1.8 配置 SSH 免密 ....................................................................................7
3.1.9 创建用户并配置权限 ........................................................................8
3.1.10 创建脚本 ..........................................................................................8
3.1.11 修改/etc/profile 文件 ................................................................9
3.1.12 创建目录并重启机器 ......................................................................9
3.2 组件安装.....................................................................................................10
3.2.1 安装 JDK ..........................................................................................10
3.2.2 安装 MYSQL ......................................................................................10
3.2 搭建 CDH 平台..............................................................................................12
3.2.1 MySQL 建库 ......................................................................................12
3.2.2 更新数据库用户和密码 .................................................................15
3.2.3 WEB 页面安装 ..................................................................................16
3.3 组件安装......................................................................................................16
没有梦想的咸鱼 yi
1. 导言
1.1 说明
本文档为 CDH 集群部署手册,详细描述了从 ECS 云服务器环境部署到大数据
组件安装运行的流程和步骤。
2. ECS 云服务器说明
2.1 操作系统
操作系统使用 64 位 Centos7.9
2.2 云服务器
云服务器使用 9 台云服务器
配置清单如下:
类型
数量
CPU
内存
存储
管理节点
3 台
64 核
256G
系统盘 500G
数据盘 5*500G
计算节点
6 台
32 核
128G
系统盘 500G
数据盘 5*500G
2.3 系统用户
用户名
密码
权限
tjlc
***********
普通用户
root
***********
管理用户
没有梦想的咸鱼 yi
2.4 集群清单及安装规划
节点名
私有 IP
组件
001
192.168.0.87
CM Server、Agent,ZK,
hdfs,Yarn,kafka,Mysql,Dori
002
192.168.0.165
CM Agent,ZK,hdfs,Yarn,Hive,
kafka,Flink,Flink-web
003
192.168.0.159
CM
Agent,ZK,hdfs,Yarn,kafka,Impala,D
oris,Altas,Spark
006
192.168.0.56
CM Agent,hdfs,Yarn,Hue,Impala、
DolphinScheduler、Doris,datax
007
192.168.0.202
CM Agent,hdfs,Yarn,Impala、
DolphinScheduler、Doris
008
192.168.0.166
CM Agent,hdfs,Yarn,Impala、
DolphinScheduler、Doris
009
192.168.0.226
CM Agent,hdfs,Yarn
010
192.168.0.52
CM Agent,hdfs,Yarn
011
192.168.0.157
CM Agent,hdfs,Yarn
3. 大数据组件安装
3.1 环境安装
Tip: 3.1 为全部节点配置
3.1.1 yum 安装常用包
//更新 yum 包
yum update -y
//安装 vim 编辑器、时间同步工具、工具包、rsync 工具包、locate 命令包等
yum install -y vim ntpdate net-tools rsync lrzsz wget git
//安装 httpd 包,并开启服务
yum install -y httpd
//开启服务
service httpd restart
//开启自启动
chkconfig httpd on
没有梦想的咸鱼 yi
3.1.2 修改主机名称
vim /etc/hostname
在文件中编辑修改主机名称:类似 cdh-001
3.1.3 关闭防火墙与关闭开机自启
systemctl status firewalld.service 查看防火墙状态
systemctl stop firewalld.service 关闭防火墙
systemctl disable firewalld.service 停止防火墙自启动
systemctl is-enabled firewalld.service 查看防火墙是否能用
3.1.4 关闭 SELINUX
sestatus 查看状态
vim /etc/sysconfig/selinux
更改 SELINUX=disabled
3.1.5 打开文件最大限制
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
--检查
ulimit -Sn
ulimit -Hn
3.1.6 关闭 THP
--查看状态
cat /sys/kernel/mm/transparent_hugepage/defrag
[always] madvise never
cat /sys/kernel/mm/transparent_hugepage/enabled
剩余39页未读,继续阅读
资源评论
没有梦想的咸鱼yi
- 粉丝: 104
- 资源: 4
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功