没有合适的资源?快使用搜索试试~ 我知道了~
Cloudera Enterprise 5.x部署手册1
需积分: 0 0 下载量 41 浏览量
2022-08-04
00:35:03
上传
评论
收藏 1.9MB PDF 举报
温馨提示
试读
25页
1. 集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等 2. 外部数据库安装 3. 安装 Cloudera 管理器 4. 安装 CDH 集群 5.
资源详情
资源评论
资源推荐
安装 Cloudera Enterprise 5.x
概述
Cloudera 企业级数据中心的安装主要分为 4 个步骤:
1. 集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等;
2. 外部数据库安装
3. 安装 Cloudera 管理器;
4. 安装 CDH 集群;
5. 集群完整性检查,包括 HDFS 文件系统、MapReduce、Hive 等是否可以正常运行。
这篇文档将着重介绍 Cloudera 管理器与 CDH 的安装,并基于以下假设:
1. 操作系统版本:CentOS 6/RHEL 6 或者 SUSE 11 SP2
2. CM 版本:CM 5.x
3. CDH 版本:CDH 5.x
4. 采用 root 对集群进行部署
5. 您已经下载 CDH 和 CM 的安装包
6. 集群中不存在任何其他版本的 Hadoop 残留
服务器配置
1. 安装操作系统,建议对操作系统盘做 RAID1
2. 如果不能连接互联网,先创建 OS 的 repository,以便 yum 或 zypper 可以直接访问 OS 镜
像以进行系统级别的软件包安装
3. 为了使集群中各个节点之间能互相通信,需要静态或动态配置节点的 IP 地址。如果使用
动态配置,请安装 DHCP 和 DNS 服务器,具体请参见对应软件的安装文档,此不赘述;
如果使用静态 IP 地址,请正确配置各节点的 IP 以及节点 hostname 信息,并在/etc/hosts
配置所有节点的静态 DNS 解析。
以 cm 节点为例:
/etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
ONBOOT=yes
BOOTPROTO=static
IPADDR=172.31.46.113
NETMASK=255.255.240.0
/etc/hosts 样例
172.31.46.113 <CM_HOST>
172.31.46.110 <NODE1>
172.31.46.111 <NODE2>
若需要启用集群的 Kerberos 认证功能,则一定要配置集群的 DNS 域名,这可以是一个假域
名。以 RHEL 为例:
# /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=sb-node1.example.com
# /etc/hosts
192.168.0.21 sb-node1.example.com sb-node1
192.168.0.22 sb-node2.example.com sb-node2
4. 如果机器配置有双网卡,可以做双网卡绑定;
5. 关闭并禁用 iptables
CentOS/RHEL
$>serviceiptables stop
$>chkconfigiptables off
SUSE 11 SP2
$>sh /sbin/rcSuSEfirewall2 stop
$>chkconfig SuSEfirewall2_setup off
6. 关闭 SELinux
CentOS/RHEL
$>echo "SELINUX=disabled" > /etc/sysconfig/selinux ;
SUSE 11 SP2
$>serviceboot.apparmor stop
$>chkconfigboot.apparmor off
7. 重启网络服务,并初始化网络
$> /etc/init.d/network restart
8. 启用 nscd
$>yum install –y nscd
$>servicenscd start
$>chkconfignscd on
9. 修改 transparent_hugepage 参数,这一参数默认值可能会导致 CDH 性能下降
RHEL/CentOS
#在/etc/rc.local 中增加一行:
$>echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
SUSE 11 SP2
#在/etc/init.d/after.local 中增加一行:
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
10. 禁止交换(可选),内存页面交换在某些情况下会导致 CDH 性能下降,建议在 kernel 在
2.6.32-303 之前的版本中将其关闭。
$>vim/etc/sysctl.conf
增加一行:vm.swappiness=0
$>sudosysctlvm.swappiness=0
11. (可选)修改/etc/security/limits.conf 或者在/etc/security/limits.d 下增加相应的配置文件,
可以设置一些硬限制和软限制;Cloudera Manager 节点会为所有节点自动做这些修改。
通过:
$> cat /proc/<pid>/limits #确认一些参数限制
12. 在需要作为 Repo 库的节点上安装必要的软件,包含 HTTP 服务和 Repo 创建工具
CentOS
$>yum install createrepo
$>yum install httpd
$>servicehttpd start
$>chkconfighttpd on
SUSE 11 SP2
# please find the yum-metadata-parser and createrepo package in os repo directory, usually you can
find the them in x86_64 or noarch folder.
$>rpm–ivh yum-metadata-parser-xxx.rpm
$>rpm–ivhcreaterepo-xxx.rpm
$>rpm–ivh yast2-http-server-2.17.15-0.5.2.noarch.rpm
磁盘划分
会影响磁盘存储的主要包含以下一些服务
角色节点
RAID 推荐
磁盘要求
所有节点
RAID1
/var/log 空间不小于 50GB
所有节点
JBOD/RAID1
/opt/cloudera 空间不小于 20GB
mysql
RAID1
数据目录不小于 50GB
Host Monitor (A standalone
service for Cloudera Manager)
RAID1
/var/lib/cloudera-host-monitor 不小于 15GB
(目录可调整,大小不可调整);可以单独部
署
Service Monitor(A standalone
service for Cloudera Manager)
RAID1
/var/lib/cloudera-service-monitor 不小于 15GB
(目录可调整,大小不可调整);可以单独部
署
Event Server(A standalone
service for Cloudera Manager)
RAID1
/var/lib/cloudera-scm-eventserver,可以通过调
整存储的最大事件数来控制存储空间占用
Reports Manager(A standalone
service for Cloudera Manager)
RAID1
/var/lib/cloudera-scm-headlamp,目录空间不确
定,取决于 fsimage 的大小和 HDFS 中文件或
者目录的路径深度
Navigator Audit Server(A
standalone service for Cloudera
Manager)
RAID1
/var/lib 不小于 10GB,可以通过调整保存的审
计日志天数来调整存储
Navigator Metadata Server(A
standalone service for Cloudera
Manager)
RAID1
/var/lib 不小于 10GB
NameNode (Active/Standby)
JBOD
例如:/hadoop/dfs/nn 不小于 128GB
JournalNode
JBOD
例如:/hadoop/dfs/jn 不小于 64GB
Zookeeper
JBOD/RIAD1
例如:/var/lib/zookeeper 不小于 10GB
DataNode
JBOD
增加 noatime 的挂载选项
角色划分(样例)
节点
接入层
角色
Node 1
接入层 1
CM (and related), QJM
Node 2
DN, NM, RS, HS2, HMS, MySQL
Node 3
DN, NM, RS, HM, ZK
Node 4 – 10
DN, NM, RS
Node 11
NN, RM, QJM
Node 12
DN, NM, RS, HS2, HMS,
Node 13
DN, NM, RS, HM, ZK
Node 14 – 40
DN, NM, RS
Node 41
接入层 2
NN, RM, QJM
Node 42
DN, NM, RS, HS2, HMS, MySQL
Node 43
DN, NM, RS, HM, ZK
Node 44 – 60
DN, NM, RS
Node 61
DN, RS, ZK, HM
Node 62
DN, RS, HM
Node 63 – 70
DN, RS
Node 71
DN, RS, ZK, HM
Node 72 – 80
DN, RS
剩余24页未读,继续阅读
赵小杏儿
- 粉丝: 19
- 资源: 314
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- python-leetcode面试题解之第198题打家劫舍-题解.zip
- python-leetcode面试题解之第191题位1的个数-题解.zip
- python-leetcode面试题解之第186题反转字符串中的单词II-题解.zip
- 一个基于python的web后端高性能开发框架,下载可用
- python-leetcode面试题解之第179题最大数-题解.zip
- python-leetcode面试题解之第170题两数之和III数据结构设计-题解.zip
- python-leetcode面试题解之第168题Excel表列名称-题解.zip
- python-leetcode面试题解之第167题两数之和II输入有序数组-题解.zip
- python-leetcode面试题解之第166题分数到小数-题解.zip
- python-leetcode面试题解之第165比较版本号-题解.zip
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0