大数据高可用集群.docx_高可用集群方案资源-CSDN文库

3星 · 超过75%的资源需积分: 50 96 浏览量 2020-03-14 17:24:48 上传评论 1 收藏 1001KB DOCX 举报

资源详情

资源评论

大数据集群高可用安装部署包有：

redis-3.2.10.tar.gz

spark-2.2.0-bin-hadoop2.7.tgz

hbase-1.2.1-bin.tar.gz

hadoop-2.8.1.tar.gz

apache-hive-1.2.1-bin.tar.gz

kafka_2.11-0.8.2.2.tgz

apache-ume-1.6.0-bin.tar.gz

zookeeper-3.4.6.tar.gz

MySQL-5.6.26-1.linux_glibc2.5.x86_64.rpm-bundle.tar

jdk-8u152-linux-x64.tar.gz

jce_policy-8.zip

1.修改 Linux 主机名

2.修改 IP

3.修改主机名和 IP 的映射关系 /etc/hosts

租用的服务器或是使用的云主机（如华为用主机、阿里云主机等）

/etc/hosts 里面要配置的是内网 IP 地址和主机名的映射关系

4.关闭防火墙

5.ssh 免登陆

6.安装 JDK，配置环境变量等

7：各主要端口

Journalnode:8485

spark：8080

nn：50070

dn:50075

yarn：8088

zk：2181

HM:16000

hb:9000

集群规划：

主机名 运行的进程



、 、!"#、!#、#

$、 、#

%&#'("、#%、)#*、+'、#、,、#

-&#'("、#%、+'、#、,、#

.、("、、+'、,、#%、、#

/

、("、0'、1''(、!"#、

2

、("、0'、1''(、!"#、

3

、("、0'、1''(、!"#、



说明：

%4 官方提供了两种 !!5 的解决方案，一种是 ，另一种是 10(。这里我们使用简单的

10(。在该方案中，主备  之间通过一组 0' 同步元数据信息，一条数据只要成功

写入多数 0' 即认为写入成功。通常配置奇数个 0'

这里还配置了一个  集群，用于 （）故障转移，当 5

 挂掉了，会自动切换 6) 为 #6) 状态

%47%4%4 中依然存在一个问题，就是 &#'(" 只有一个，存在单点故障，7

%424. 解决了这个问题，有两个 &#'("，一个是 5，一个是 6)，状态由

 进行协调

安装步骤：

1.安装配置 zooekeeper 集群（在 hadoop05，06，07 上）

1.1 解压

77-4.4/44"78888

$4% 修改配置

88887-4.4/88

9#4"4"

4"

修改：:88887-4.4/8

在最后添加：

#4$:/;%<<<;-<<<

#4%:2;%<<<;-<<<

#4-:3;%<<<;-<<<

保存退出

然后创建一个  文件夹

88887-4.4/8

$=88887-4.4/88)

1.3 将配置好的 zookeeper 拷贝到其他节点(首先分别在 hadoop06、hadoop07 根目录下创建一

个 hadoop 目录：mkdir /hadoop)

#788887-4.4/82;8888

#788887-4.4/83;8888

注意：修改 2、3 对应887-4.4/88) 内容

2：

%=88887-4.4/88)

3：

-=88887-4.4/88)

启动 zookeeper 集群

 没有提供自动批量启动脚本，需要手动一台一台地起  进程

在每一台节点上，运行命令：

684##

启动后，用 ># 应该能看到一个进程：1''(

但是，光有进程不代表  已经正常服务，需要用命令检查状态：

684##'#

能看到角色模式：为  或 ,，即正常了。

2.安装配置 hadoop 集群（在 hadoop00 上操作）

2.1 解压

77%424.44"78888

2.2 配置 HDFS（hadoop2.0 所有的配置文件都在$HADOOP_HOME/etc/hadoop 目录下）

#将 hadoop 添加到环境变量中

88?

05@59!A(B:8'#8>8>$4349//

!5AA9!A(B:887%424.

5C!:D5C!;D05@59!A(B86;D!5AA9!A(B86

E%4 的配置文件全部在D!5AA9!A(B88 下

88887%424.88

2.2.1 修改 hadoo-env.sh

05@59!A(B:8888>$4349//



2.2.2 修改 core-site.xml

F?"'=

FG77指定 # 的 # 为 #$77=

F)=

F=#4'F8=

F'=#;88>8F8'=

F8)=

FG77指定  临时目录 77=

F)=

F=44F8=

F'=888F8'=

F8)=

FG77指定  地址 77=

F)=

F=44*''F8=

F'=/;%$<$H2;%$<$H3;%$<$F8'=

F8)=

F8?"'=



2.2.3 修改 hdfs-site.xml

F?"'=

FG77指定 # 的 # 为 6，需要和 7#4 中的保持一致 77=

F)=

F=#4##F8=

F'=>F8'=

F8)=

FG77> 下面有两个 ，分别是 $，%77=

F)=

F=#44#4F8=

F'=$H%F8'=

F8)=

FG77$ 的 & 通信地址 77=

F)=

F=#447##4>4$F8=

F'=$;IF8'=

F8)=

FG77$ 的  通信地址 77=

F)=

F=#447##4>4$F8=

F'=$;/3F8'=

F8)=

FG77% 的 & 通信地址 77=

F)=

F=#447##4>4%F8=

F'=%;IF8'=

F8)=

FG77% 的  通信地址 77=

F)=

F=#447##4>4%F8=

F'=%;/3F8'=

F8)=

剩余21页未读，继续阅读

评论收藏

内容反馈

yw8301

2020-03-14

收藏了·感谢分享

大数据高可用集群.docx

评论1

最新资源

大数据高可用集群.docx

评论1

最新资源

相关推荐

大数据集群

大数据项目集群

大数据集群搭建安装包

大数据集群部署手册（最新最全）

hadoop 集群部署操作

基于Hadoop的大数据平台架构规划方案.docx

大数据与人工智能-fy.docx

大数据图标大全.docx

大数据技术概述.docx

大数据方案介绍.docx

大数据开发笔试.docx

数据脱敏大数据架构设计.docx

hadoop高可用安装.docx

商业银行-大数据建设规划.docx

大数据时代银行业的机遇与挑战.docx

大数据“分布式调度框架”大集合.docx

大数据分析平台的需求报告模板.docx

服务器运维工程师的主要职责.docx

大数据分析平台的需求报告模板(1).docx

鲲鹏云大数据实验docx

项目源码：基于Hadoop+Spark招聘推荐可视化系统 大数据项目 计算机毕业设计

hadoop-3.3.4.tar.gz + winutils 安装环境

基于Hadoop的电影影评数据分析

基于大数据的音乐推荐系统（适合本科毕设）

基于Hadoop+Spark招聘推荐可视化系统 大数据项目 毕业设计（源码下载）

适用于hadoop 3.3.5 3.3.6版本的winutils

数据科学导论实验报告 实验1：常用Linux操作和 Hadoop操作

淘宝用户行为数据集

项目源码：基于Hadoop+Spark招聘推荐可视化系统大数据项目计算机毕业设计

基于Hadoop+Spark招聘推荐可视化系统大数据项目毕业设计（源码下载）

数据科学导论实验报告实验1：常用Linux操作和 Hadoop操作