没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
linux 中 Cloudera Manager 5 和 CDH5 离线安装
www.111cn.net 更新:2016-02-27 编辑:yahoo 来源:转载
Cloudera 可以简化 Hadoop 的安装配置过程,自动在集群节点上安装 hadoop 相关组件,
创建用户。所有机器上一定要安装好 Perl 包,下面我们来看一篇关于 linux 中 Cloudera
Manager 5 和 CDH5 离线安装的例子吧。
一、相关软件准备及规划
1、相关软件及下载地址:
Cloudera Manager:http://archive-primary.cloudera.com/cm5/cm/5/
CDH 安装包地址:http://archive.cloudera.com/cdh5/parcels/latest/
JAVA 官方下载(需登陆):http://www.oracle.com/technetwork/java/archive-139210.html
JAVA 各版本归档下载(无需登陆):https://www.reucon.com/cdn/java/
MySql 的 JDBC 驱动 jar 包:http://dev.mysql.com/downloads/connector/j/
2、下载后所得文件如下:
cloudera-manager-el6-cm5.5.3_x86_64.tar.gz
CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel
CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel.sha1
manifest.json
mysql-connector-java-5.1.38.tar.gz(解压后里面有相当的 jar 包)
java 下载版本建议大于等于 1.7 以上版本
CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel 该包比较大,后面离线安装时是将本包的内容解压后上
传到各个节点上的,CDH-5.3.9-1.cdh5.3.9.p0.8-el6.parcel.sha1 该文件后续使用时需要改下名
字,这个一定需要注意。
3、主机规划
我这里选取了 5 台主机安装,在测试时一般建议主机数量一定要大于 2 台以下。5 台主机命
名如下:
nn1.hadoop.com 192.168.0.10
nn2.hadoop.com 192.168.0.11
dn1.hadoop.com 192.168.0.12
dn2.hadoop.com 192.168.0.13
dn3.hadoop.com 192.168.0.14
二、主机环境配置
主机配置分 IP 地址、主机名、java 环境、句柄数优化几项,具体如下:
1、IP 配置
# cat /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=none
IPADDR=192.168.0.10
PREFIX=24
GATEWAY=192.168.0.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
2、主机名配置
# cat /etc/sysconfig/network
HOSTNAME=nn1.hadoop.com
并在 hosts 文件里做下几台主机的 IP 指向。如果内部搭建的有 DNS 服务器,/etc/hosts 指定
可以省略。
3、JAVA 环境变量配置
这部分可以参看另一篇博文 --- jDK 的安装
4、句柄数优化
修改/etc/security/limits.conf 文件,增加如下内容:
* hard nofile 65535
* soft nofile 65535
5、ssh 密钥打通
这一个是非必须的,cloudera-manager 对各个节点安装 hdfs、flume、hive 等应用时不依赖 ssh
进行传输的,其基于 agent 程序通信、传输、安装文件。如果想要 ssh 密钥打通可以参看我
的另一篇博文---linux 配置 ssh 公钥认证 。
6、iptables 与 selinux
service iptables stop (临时关闭)
chkconfig iptables off (重启后生效)
setenforce 0 (临时生效)
修改/etc/selinux/config 下的模式为 SELINUX=disabled (重启后生效)。
7、ntp 对时配置
选取其中一个节点服务器向外网对时,其他主机对该主机对时。由于 ntp 服务配置相当简单,
这里也略过。
同样,按上述方法,对上例中的五台主机做下修改。
三、Cloudera Manager 安装
先将下载好的 Cloudera Manager 包上传到其中一台服务器。并在/opt 下解包---强烈建
议到/opt 下,因为默认路径是在/opt 下,如果解压到其他路径下应用,配置文件会涉及到多
项修改。
1、mysql 服务的配置
下载安装 mysql 并启动
[root@nn1 opt]# yum -y install mysql-server
[root@nn1 opt]# /etc/init.d/mysqld start
[root@nn1 opt]# /usr/bin/mysqladmin -u root password 'hadoop'
[root@nn1 opt]# chkconfig mysqld on
创建 hive 和监控服务 mysql 库
mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
mysql> grant all on *.* TO 'root'@'%' IDENTIFIED BY 'hadoop';
a、在标准安装中 hive 库是必须的,monitor 监控数据库为可选库---如果在安装时不选
择安装 hive 服务的话,也可以不创建 hive 库。
b、给 root 用户授权所有主机可以登陆是因为 hive 和监控会涉及到多个服务,当服务不是安
装在同一台主机上时,会出现需要通过其他主机连接上面创建的数据库的问题,这样就会造
成失败。如果出于安全考虑,可以给 mysql 用户授权时,只指定 hadoop 所在的网段。
2、导入数据库
mysql jar 包放入 lib 库
将下面好的 mysql jdbc 包里的 jar 文件取出放到/opt/cm-x.x.x/share/cmf/lib/中,其中 x.x.x 为
cloudera manager 的版本号。由于目前 mysql 是甲骨文公司下的产品,所以没有开源授权,
所以其他产品在进行 mysql 支持时,都需要从 mysql 官站上自行下载放入 lib 包。而 cloudera
manager 支持的 postgresql 和 oracle 没有这个问题(有点不明白为什么 oracle 不存在这个问
题,NND 的甲骨文)。
创建用户
创建 cloudera-scm 用户
useradd --system --home=/opt/cm-5.1.3/run/cloudera-scm-server/ --no-create-home
--shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
上面这个用户需要在五台主机上都创建,不然在后面 web 界面管理安装时,在 check 项会
错,提示不存在 cloudera-scm 用户。
剩余10页未读,继续阅读
深层动力
- 粉丝: 18
- 资源: 318
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0