没有合适的资源?快使用搜索试试~ 我知道了~
数据中台的集群规划和搭建
资源推荐
资源详情
资源评论
节点环境
bigdata01,bigdata02,bigdata03
zookeeper 安装
1、官网下载 zookeeper 安装包
2、解压
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz -C /opt/baiwan
3、创建 zookeeper 文件目录,修改配置文件名
cd /opt/baiwan/apache-zookeeper-3.5.9-bin
mkdir data
cd /opt/baiwan/apache-zookeeper-3.5.9-bin/conf
mv zoo_sample.cfg zoo.cfg
4、修改配置文件
vim zoo.cfg
修改
dataDir=/opt/baiwan/apache-zookeeper-3.5.9-bin/data
增加
server.1=bigdata01:2888:3888
server.2=bigdata02:2888:3888
server.3=bigdata03:2888:3888
5、创建 myid 文件
touch /opt/baiwan/apache-zookeeper-3.5.9-bin/data/myid
6、myid 文件写入 1,另外两个节点用同样的方法分别写入 2,3
echo 1 > /opt/baiwan/apache-zookeeper-3.5.9-bin/data/myid
7、把 zookeeper 分发到其他两个节点
scp -r apache-zookeeper-3.5.9-bin root@bigdata02:/opt/baiwan/
scp -r apache-zookeeper-3.5.9-bin root@bigdata03:/opt/baiwan/
8、分别到三个节点上启动 zookeeper
cd /opt/baiwan/apache-zookeeper-3.5.9-bin/bin
./zkServer.sh start
9、配置环境变量
vim /etc/profile
添加
export ZOOKEEPER_HOME=/opt/baiwan/apache-zookeeper-3.5.9-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin
hadoop 安装
1、官网上下载 hadoop 安装包
2、解压
tar -zxvf hadoop-2.7.5.tar.gz -C /opt/baiwan
3、修改配置文件
core-site.xml
vim /opt/baiwan/hadoop-2.7.5/etc/hadoop/core-site.xml
增加配置
<property>
<name>fs.defaultFS</name>
<value>hdfs://ns1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/baiwan/hadoop-2.7.5/data/tmp</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>ipc.server.read.threadpool.size</name>
<value>3</value>
</property>
<property>
<name>ha.zookeeper.quorum</name>
<value>bigdata01:2181,bigdata02:2181,bigdata03:2181</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.users</name>
<value>*</value>
</property>
修改 hadoop-env.sh
vim /opt/baiwan/hadoop-2.7.5/etc/hadoop/hadoop-env.sh
配置 java 环境变量
export JAVA_HOME=/opt/soft/jdk1.8.0_161
修改 hdfs-site.xml
vim /opt/baiwan/hadoop-2.7.5/etc/hadoop/hdfs-site.xml
增加配置
<property>
<name>dfs.nameservices</name>
<value>ns1</value>
</property>
<property>
<name>dfs.ha.namenodes.ns1</name>
<value>nn1,nn2</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn1</name>
<value>bigdata01:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn1</name>
<value>bigdata01:50070</value>
</property>
<property>
<name>dfs.namenode.rpc-address.ns1.nn2</name>
<value>bigdata02:8020</value>
</property>
<property>
<name>dfs.namenode.http-address.ns1.nn2</name>
<value>bigdata02:50070</value>
</property>
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://bigdata01:8485;bigdata02:8485;bigdata03:8485/ns1</value>
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/baiwan/hadoop-2.7.5/data/journal</value>
</property>
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.client.failover.proxy.provider.ns1</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<property>
<name>dfs.ha.fencing.methods</name>
<value>
sshfence
shell(/bin/true)
</value>
</property>
<property>
<name>dfs.ha.fencing.ssh.connect-timeout</name>
<value>30000</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
剩余16页未读,继续阅读
资源评论
数据与后端架构提升之路
- 粉丝: 1w+
- 资源: 42
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功