没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
Hadoop 服务器集群部署文档
CDH 搭建
作者(部门):数据工程研究院实验室
作者:张淳瑞
创建时间:二零二零年九月二十五
序号
版本
修订人
修订时间
修订内容
1
V1.0
张淳瑞
2022.09.2
创建
2
V1.0
张淳瑞
202.10.12
第一版完善完成
3
V1.1
张淳瑞
2022.11.02
第二版修改
4
V1.2
张淳瑞
2023.1.9
第三版修改
准备工作
准备服务器
至少需要 3 台服务器,一台 master,两台 slave:一台 namenode,一台 datanode
IP 地址
服务器名称
网卡名称
用户名称
10.61.2.111
slave02
root
10.61.2.112
slave01
root
10.61.2.113
Master
root
下载 linux 操作系统
官网下载地址:https://www.centos.org/download
使用 centos 系统,此文档已 centos7 版本为例。如果下载别的版本的系统,需要选用
相对应的 CDH 版本,否则会出问题。
查看 CDH 的版本支持:https://www.cloudera.com/downloads/manager/5-14-4.html
下载 Cloudera 软件包
下载地址:(
把所有 rpm 包都下载回来本地
)
http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.14.1/RPMS/x
86_64/
其中包括:(el7 代表 linux7.x 版本的)
下载 cloudera manager 安装文件—不需要
下载地址:http://archive.cloudera.com/cm5/installer/5.14.1/
下载 cloudera-manager-installer.bin
wget http://archive.cloudera.com/cm5/installer/5.14.1/cloudera-manager-installer.bin
离线安装不需要此文件
下载 rpm 仓库文件
下载地址:http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/
下载 cloudera-manager.repo,这个是按 linux 系统通用的,下载时不区
分版本
下载 parcel
访问:http://archive.cloudera.com/cdh5/parcels/5.14.0.24/
下载 centos 对应的 parcel ,el7 表示 centos 7 版本,共 3 文件
下载 UltraIS,制作 U 盘镜像
最好使用 UltraLS 制作镜像模式直接安装系统。ultraSL 有绿色版,建议使用。
使用各种 winpe 的启动安装会比较麻烦,不建议使用。
安装用到的 Linux 的基本命令和常识
1 查看目录下文件命令:ls
2 编辑文件命令:vim 完整路径名+文件名
输入命令回车后会在终端打开文件内容,此时为非输入模式,按下键盘 i 键,开启输入
模式,可以正常输入;修改完成按下 Esc 键,进入命令模式,输入冒号:,然后输入命令
wq,意思是保存并推出。w 保存,q 退出。如果不保存退出,冒号:后输入 q 即可。
3 查看文件内容命令:cat 完整路径名+文件名
安装操作系统
备注:此文档的教程针对实验室已有的 HP 服务器为例,目前所有服务器的主板设置都
已经修改为:1USB、2CDROM、3Hard Drive。插入 U 盘启动,然后开机,什么都不需要操
作,等待即可进入 u 盘安装引导界面
在里面输入“cat /etc/redhat-release”命令查看系统版本号
1 插入 U 盘,然后开机(或重启)
2 开机引导主板输出说明
HP DL380 型号:
命令:All rights reserved 之后,可以进行操作
Ctrl+s 命令:进入配置界面,配置网卡设备,此处配置不需要。
剩余55页未读,继续阅读
资源评论
Aminer_Zcr
- 粉丝: 19
- 资源: 2
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功