没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
hadoop
分
布
式
部
署
1.
上
传
jdk
和
hadoop
安
装
包
到
服
务
器
2.
解
压压
缩
包
tar xf jdk1.8.0_112.tgz -C /usr/local/
tar xf hadoop-3.3.6.tar.gz -C /usr/local/
1
2
3.
修
改
配
置
⽂
件
core-site.xml
、
hadoop-env.sh
、
yarn-env.sh
、
mapred-site.xml
、
yarn-site.xml
、
hdfs-site.xml
、
workers
1. vim/usr/local/hadoop-3.3.6/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/log/hadoop/tmp</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
2. vim/usr/local/hadoop-3.3.6/etc/hadoop/mapred-site.xml
<configuration>
<!-- Framework name -->
<property>
<name>mapreduce.framework.name</name>
1
2
3
4
<value>yarn</value>
</property>
<!-- Job history properties -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
</configuration>
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
3. vim/usr/local/hadoop-3.3.6/etc/hadoop/yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!--
指
定
YARN ResourceManager
的
主
机
名
,
通
常
是
集
群
的
主
节
点
-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- ResourceManager
的
RPC
服
务
地址
-->
1
2
3
4
5
6
7
8
9
10
11
<property>
<name>yarn.resourcemanager.address</name>
<value>${yarn.resourcemanager.hostname}:8032</value>
</property>
<!-- ResourceManager
的
调
度
器
地址
,
⽤
于
任
务
调
度
-->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>${yarn.resourcemanager.hostname}:8030</value>
</property>
<!-- ResourceManager
的
Web
应
⽤
程
序
地址
,
⽤
于
浏
览
集
群
状
态
-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>${yarn.resourcemanager.hostname}:8088</value>
</property>
<!-- ResourceManager
的
Web
应
⽤
程
序
HTTPS
地址
,
启
⽤
安
全
连
接
时
使
⽤
-->
<property>
<name>yarn.resourcemanager.webapp.https.address</name>
<value>${yarn.resourcemanager.hostname}:8090</value>
</property>
<!-- ResourceManager
的
资
源
跟踪
服
务
地址
,
节
点
管
理
器
向
该
地址
报
告
资
源
信
息
-->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>${yarn.resourcemanager.hostname}:8031</value>
</property>
<!-- ResourceManager
的
管
理
接
⼝
地址
,
⽤
于
管
理
和
控
制
集
群
-->
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>${yarn.resourcemanager.hostname}:8033</value>
</property>
<!-- NodeManager
本
地
存
储
临
时
⽂
件
的
⽬
录
-->
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/data/hadoop/yarn/local</value>
</property>
<!--
是
否启
⽤
⽇
志
聚
合
,
将
节
点
上
的
⽇
志
收
集
到
⼀个中
⼼
位
置
-->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
<!--
存
储
应
⽤
程
序
⽇
志
的
远
程
⽬
录
-->
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/data/tmp/logs</value>
</property>
<!--
⽇
志
服
务
器
的
URL
,
⽤
于
访
问
应
⽤
程
序
的
历
史
⽇
志
-->
<property>
<name>yarn.log.server.url</name>
<value>http://master:19888/jobhistory/logs/</value>
</property>
<!--
是
否启
⽤
虚
拟
内
存
检查
,
可
以
防
⽌
内
存
超
⽤
,
但
可
能
会
影
响
任
务
运
⾏
-->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<!--
定
义
NodeManager
的
辅
助
服
务
,
mapreduce_shuffle
是
MapReduce
任
务
所
需
的
服
务
-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--
配
置
ShuffleHandler
类
,
处
理
MapReduce Shuffle
操
作
-->
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!--
配
置
NodeManager
节
点
上
可
⽤
的
内
存
(
以
MB
为
单
位
)
-->
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>2048</value>
</property>
<!--
调
度
器
允
许
分
配
的
最
⼩
内
存
⼤
⼩
-->
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>512</value>
</property>
<!--
调
度
器
允
许
分
配
的
最
⼤
内
存
⼤
⼩
-->
<property>
<name>yarn.scheduler.maximum-allocation-mb</name>
<value>4096</value>
</property>
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
剩余18页未读,继续阅读
资源评论
TS0ul
- 粉丝: 16
- 资源: 22
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功