没有合适的资源?快使用搜索试试~ 我知道了~
大数据集成环境CDH是一个非常方便的大数据组件集成平台,可以方便的管理自己的大数据集群,但是在安装过程经常会出现各种问题,这里整理了一份文档,经过多次验证,只要按照文档上一步步严格做,绝对安装没问题,操作系统为centos7
资源详情
资源评论
资源推荐
Centos7 安装大数据平台 CDH 6.2
发表于2019-05-31
CDH 和 Cloudera Manager 介绍
1.CDH 介绍
目前 Hadoop 比较流行的主要有 2 个版本,Apache 和 Cloudera 版本。
o Apache Hadoop:社区人员比较多,更新频率比较快,但是稳定性比较差,安装
配置繁琐,实际使用者少。
o Cloudera Hadoop ( CDH ) : Cloudera 公 司 的 发 行 版 本 , 基 于 Apache
Hadoop 的二次开发,优化了组件兼容和交互接口、简化安装配置、提供界面统一
管理程序。
CDH 提供以下特性:
o 灵活性:存储任何类型的数据并使用各种不同的计算框架进行操作,包括批处理、
交互式 SQL、文本搜索、机器学习和统计计算。
o 集成:在一个完整的 Hadoop 平台上快速启动和运行,该平台与广泛的硬件和软
件解决方案一起工作。
o 安全:处理和控制敏感数据。
o 可伸缩性:启用广泛的应用程序和规模,并扩展它们以满足您的需求。
o 高可用性:稳定地执行关键的业务任务。
o 兼容性:利用您现有的 IT 基础设施和投资。
CDH 组件如下图:
2.Cloudera Manager 介绍
Cloudera Manager 是用于管理 cdh 集群的端到端应用程序,统一管理和安装。CDH 除
了可以通过 cm 安装也可以通过 yum,tar,rpm 安装。主要由如下几部分组成:
o 服务端/Server:
Cloudera Manager 的核心。主要用于管理web server 和应用逻辑。它用于安
装软件,配置,开始和停止服务,以及管理服务运行的集群。
o 代理/agent:
安装在每台主机上。它负责启动和停止进程,部署配置,触发安装和监控主机。
o 数据库/Database:
存储配置和监控信息。通常可以在一个或多个数据库服务器上运行的多个逻辑数据
库。例如,所述的Cloudera 管理器服务和监视,后台程序使用不同的逻辑数据库。
Cloudera Repository:由 cloudera manager 提供的软件分发库。
o 客户端/Clients:
提供了一个与Server 交互的接口。
环境准备
1.节点准备(两个节点)
名称
IP
CM 管理软件
namenode01 172.16.12.11
Cloudera Manager Server&Agent ,MariaDB
datanode01 172.16.12.12 Cloudera Manager Agent
2.配置主机名和 hosts 解析(所有节点)
编辑/etc/hostname,修改主机名,并使用命令 hostname 使其立刻生效。编辑文件/etc
/hosts,增加如下内容。
1
2
172.16.12.11
namenode01
172.16.12.12
datanode01
3.关闭防火墙
1
systemctl stop firewalld.service && systemctl disable
firewalld.service
4.关闭 SELinux
1
2
sed -i 's#SELINUX=enforcing#SELINUX=disabled#g'
/etc/selinux/config
setenforce 0
5.配置时间同步
chrony 既可作时间服务器服务端,也可作客户端。 chrony 性能比 ntp 要好很多,且
chrony 配置简单、管理方便。
在服务器端的安装与配置
安装
1# yum -y install
chrony
编辑/etc/chrony.conf 文件
按照你环境的要求,对下面的键进行添加,修改或者删除
1
2
3
4
5
# vim /etc/chrony.conf
server 0.centos.pool.ntp.org
iburst
server 1.centos.pool.ntp.org
iburst
server 2.centos.pool.ntp.org
iburst
server 3.centos.pool.ntp.org
iburst
使用 NTP 服务器的主机名或者 IP 地址替换NTP_SERVER 。配置支持设置多个server 值,
默认使用上面四个
修改允许客户端访问
1
2
# Allow NTP client access from local
network.
allow 172.16.12.0/24
重启服务
1
# systemctl enable chronyd.service && systemctl restart
chronyd.service
检查时间同步
1
2
3
4
5
6
7
8
# chronyc sources
210 Number of sources = 4
MS Name/IP address Stratum Poll Reach LastRx Last sample
====================================================================
===========
^? ntp1.ams1.nl.leaseweb.net 0 8 0 - +0ns[ +0ns]
+/- 0ns
^? ntp.wdc1.us.leaseweb.net 0 8 0 - +0ns[ +0ns]
+/- 0ns
^? 119.79-161-57.customer.l> 0 8 0 - +0ns[ +0ns]
+/- 0ns
^? ntp6.flashdance.cx 0 8 0 - +0ns[ +0ns]
+/- 0ns
在其它客户端的安装与配置
同样在客户端安装
1
# yum -y install
chrony
编辑/etc/chrony.conf 文件
1
2
3
4
5
6
7
# vim /etc/chrony.conf
注释掉下面四个,加增一个内部时间同步服务器地址
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
server 172.16.12.11 iburst
重启服务
1
# systemctl enable chronyd.service && systemctl restart
chronyd.service
验证时间同步:
1
2
3
4
5
# chronyc sources
210 Number of sources = 1
MS Name/IP address Stratum Poll Reach LastRx Last sample
====================================================================
===========
^* namenode01 3 6 7 0 +11us[-2339us]
+/- 48ms
6.禁用透明大页面压缩,CDH 配置需要
1
2
echo never >
/sys/kernel/mm/transparent_hugepage/defrag
echo never >
/sys/kernel/mm/transparent_hugepage/enabled
并将上面的两条命令写入开机自启动/etc/rc.local。
7.优化交换分区
1echo "vm.swappiness = 10" >>
/etc/sysctl.conf
剩余26页未读,继续阅读
niuyongzljtoo
- 粉丝: 1
- 资源: 10
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0