没有合适的资源?快使用搜索试试~ 我知道了~
11-Hadoop部署多机HDFS+HA+Federation+YARN1
需积分: 0 0 下载量 66 浏览量
2022-08-03
23:34:59
上传
评论
收藏 1.15MB PDF 举报
温馨提示
试读
11页
2.1. 2.2. 2.3. 2.4. 2.5. 2.6. 2.1. 修改配置文件 2.2. 启动 JournalNode
资源推荐
资源详情
资源评论
北京小象科技有限公司
微信公号:ChinaHadoop 新浪微博:ChinaHadoop
邮箱:Admin@chinahadoop.cn 电话:156 1144 0609
网址:http://www.chinahadoop.cn
HDFS HA+Federation+YARN 部署
目录
HDFS HA+Federation+YARN 部署 ..................................................................................................... 1
1. 集群环境的节点分布 ............................................................................................................... 1
2. 搭建集群 ................................................................................................................................... 2
2.1. 修改配置文件 ............................................................................................................... 2
2.2. 启动 JournalNode ......................................................................................................... 2
2.3. 在 Cluster1 上操作 ....................................................................................................... 2
2.4. 在 Cluster2 上操作 ....................................................................................................... 4
2.5. 启动 DataNode ............................................................................................................. 5
2.6. 启动 yarn ...................................................................................................................... 7
3. 执行一个 MapReduce 任务 ..................................................................................................... 8
4. 停止集群 ................................................................................................................................. 10
5. 自定义脚本 ............................................................................................................................. 10
1. 集群环境的节点分布
JournalNode:chinahadoop2 chinahadoop3 chinahadoop4
北京小象科技有限公司
微信公号:ChinaHadoop 新浪微博:ChinaHadoop
邮箱:Admin@chinahadoop.cn 电话:156 1144 0609
网址:http://www.chinahadoop.cn
Cluster1 HA: chinahadoop1(Active NameNode) chinahadoop2(Standby NameNode)
Cluster2 HA: chinahadoop3(Active NameNode) chinahadoop4(Standby NameNode)
DataNode: chinahadoop1 chinahadoop2 chinahadoop3 chinahadoop4
NodeManager:chinahadoop1 chinahadoop2 chinahadoop3 chinahadoop4
ResourceManager:chinahadoop1
2. 搭建集群
2.1. 修改配置文件
hadoop-env.sh、core-site.xml、mapred-site.xml、yarn-site.xml、salves
这五个文件在每个节点上的内容是相同的。
注意在配置文件 hdfs-site.xml 中有一个地方不同。
在 Cluster1 的所有节点(chinahadoop1 和 chinahadoop2)上,要配置成:
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://chinahadoop2:8485;chinahadoop3:8485;chinahadoop4:8485/chinahadoo
p-cluster1</value>
</property>
在 Cluster2 的所有节点(chinahadoop3 和 chinahadoop4)上,要配置成:
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://chinahadoop2:8485;chinahadoop3:8485;chinahadoop4:8485/chinahadoo
p-cluster2</value>
</property>
配置文件下载连接(仅供参考)
链接:http://pan.baidu.com/s/1kU5RtZ5 密码:ms4s
2.2. 启动 JournalNode
在 chinahadoop2、chinahadoop3 和 chinahadoop4 上,
分别执行命令 sbin/hadoop-daemon.sh start journalnode
2.3. 在 Cluster1 上操作
在 chinahadoop1 上格式化 namenode
执行命令 bin/hdfs namenode -format -clusterId chinahadoop-cluster
北京小象科技有限公司
微信公号:ChinaHadoop 新浪微博:ChinaHadoop
邮箱:Admin@chinahadoop.cn 电话:156 1144 0609
网址:http://www.chinahadoop.cn
格式化成功后,马上启动 namenode
执行命令 sbin/hadoop-daemon.sh start namenode
在 chinahadoop2 上格式化 namenode
执行命令 bin/hdfs namenode -bootstrapStandby
格式化成功后,马上启动 namenode
执行命令 sbin/hadoop-daemon.sh start namenode
在 chinahadoop1 上切换 active namenode
执行命令 bin/hdfs haadmin -ns chinahadoop-cluster1 -transitionToActive nn1
在浏览器上访问 chinahadoop1:50070
在浏览器上访问 chinahadoop2:50070
剩余10页未读,继续阅读
资源评论
whph
- 粉丝: 18
- 资源: 305
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功