没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据HadoopHadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

大数据

hadoop

spark

hive

kafka

5星 · 超过95%的资源 1.2k 浏览量 2022-06-22 10:10:03 上传评论 5 收藏 5.25MB PDF 举报

温馨提示

身份认证购VIP最低享 7 折!

领优惠券(最高得80元）

试读

91页

1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、能学到啥：大数据集群及相关组件搭建的详细步骤，了解大数据各组件的用途，深入认识各大数据组件工作原理及优化方案。 4、阅读建议：使用过以上大数据组件进行简单开发、了解以上大数据组件的相关功能。 5、资源价值：大数据组件搭建的详细实践步骤、一次性提供较全面的常用大数据集群及组件安装部署内容、资源是博主结合官网文档+网上各类搭建文档+本人亲自实践后总结整合的文档（包括过程踩坑记录+对应解决方案）。

资源推荐

资源详情

资源评论

HBase+ElasticSearch搭建过程详解

hadoop2.7+spark3.2.1+pyspark3.2.1+python3.9

徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

七月在线七月在线## Note, this file is written by cloud-init on first boot of an instance

zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx

5星 · 资源好评率100%

jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...

win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

win10下搭建Hadoop（jdk+mysql+hadoop+scala+hive+spark），包括jdk的安装、mysql安装和配置，hadoop安装和配置，scala安装和配置，hive安装和配置，spark安装和配置。

Hadoop+ZooKeeper+HBase+hive(HQL)安装步骤

5星 · 资源好评率100%

Hadoop+ZooKeeper+HBase+hive(HQL)安装步骤

centOS 6.10 hadoop+spark+hive+HBase集群搭建

hadoop+spark+hive Linux centos大数据集群搭建，简单易懂，从0到1搭建大数据集群

大数据实战启航班（Hadoop+Spark+Flink+离线计算+实时计算）

大数据（hadoop+spark+hbase+zookeeper+kafka+scala+ambari）全套视频教程（花3000￥买的）

4星 · 用户满意度95%

大数据 hadoop spark hbase ambari全套视频教程（购买的付费视频）

Hadoop+Zookeeper+Hbase+Hive部署.doc

Hadoop+Zookeeper+Hbase+Hive部署

Centos+Hadoop+Hive+HBase

5星 · 资源好评率100%

Centos+Hadoop+Hive+HBase

hadoop+zookeeper+hbase+hive集群安装配置

从零开始hadoop+zookeeper+hbase+hive集群安装搭建，内附详细配置、测试、常见error等图文，按照文档一步一步搭建肯定能成功。（最好用有道云打开笔记）

集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark

通过VirtualBox安装多台虚拟机，实现集群环境搭建。优势：一台电脑即可。应用场景：测试，学习。...内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件

Hadoop+Spark生态系统操作与实践指南-余辉.pdf

Hadoop、Spark、hive、mapReduce经典学习资料

eclipse集成hadoop+spark+hive开发源码实例

5星 · 资源好评率100%

windows系统下eclipse集成hadoop,spark,hive开发环境

spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

4星 · 用户满意度95%

亲手在Centos7上安装，所用软件列表 apache-flume-1.8.0-bin.tar.gz apache-phoenix-4.13.0-HBase-1.3-bin.tar.gz hadoop-2.7.4.tar.gz hbase-1.3.1-bin.tar.gz jdk-8u144-linux-x64.tar.gz kafka_2.12-1.0.0.tgz ...

hadoop+hive+spark部署文档

hadoop-3.3.4.tar.gz + winutils 安装环境

【开发环境】安装 Hadoop 运行环境 ( 下载 Hadoop | 解压 Hadoop | 设置 Hadoop 环境变量 | 配置 Hadoop 环境脚本 | 安装 winutils ) https://hanshuliang.blog.csdn.net/article/details/132045605 一、下载 Hadoop 二、解压 Hadoop 三、设置 Hadoop 环境变量四

基于大数据的音乐推荐系统（适合本科毕设）

主要是用于大家对于大数据的基本处理，适合大学生本科毕设的参考。

基于Hadoop的电影影评数据分析

5星 · 资源好评率100%

是大数据课程大作业，基于Hadoop的电影影评数据分析，需要安装Hadoop，了解MapReduce 和HDFS。

hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

5星 · 资源好评率100%

hadoop-2.7.3.tar.gz 下载目前相对比较稳定的版本 hadoop tar 包下载hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

------------------------------------------------------------------------------------------------------------------------------------------

- 1 -

Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flin

k+Elasticsearch+Redash 等大数据集群及组件搭建指南

1、Hadoop 安装部署教程

搭建环境：Ubuntu16.04 x86_64 + hadoop2.7.7

1.1、配置服务器

集群规划：（建议每台机器配置 8Cores-32GB-2TB 以上）

1 个主节点：master（10.100.168.101）

2 个从节点：slave1（10.100.168.102）、slave2（10.100.168.103）

No.SeverIP

HostName

Account

------------------------------------------------------------------------------------------------------------------------------------------

- 2 -

1(主节点)：10.100.168.101

master

hadoop

2(从节点)：10.100.168.102

slave1

hadoop

3(从节点)：10.100.168.103

slava2

hadoop

1.1.1、新建一个用户（根据需要非必要）

在该用户下进行 Hadoop 安装

添加用户 sudo useradd -d /home/hadoop -m hadoop -s /bin/bash

修改密码 sudo passwd hadoop

增加管理员权限 sudo vim /etc/sudoers 找到 root ALL=(ALL:ALL) ALL 这行，在

这行下面增加一行内容：hadoop ALL=(ALL:ALL) ALL（中间的间隔为 tab），若

sudoers 文件只读用 :wq! 强制保存，或直接用命令加入 sudo 组 usermod -g root

hadoop。

修改家目录命令（注：要有 root 权限的非当前用户修改、且目录存在）：

usermod -d /home/hadoop -m hadoop

若 hadoop 账号没有/usr/server/目录的权限，则授予其该目录权限：(user:group)

sudo -i chown -R hadoop:hadoop /usr/server/

1.1.2、修改主机名

（根据需要非必要）

查看主机名用命令 uname -n 或 hostname

在 master 节点，先安装 vim 编辑器，这一步很有必要，若已安装则忽略：

hadoop@master:~$ sudo apt-get install vim

在 vim 编辑器中，按 Insert 进入插入模式，按 Esc，然后键入:wq 保存退出（:q 不

保存退出、:q!不保存强制退出）。

修改主机名 Ubuntu 系统用以下命令：

hadoop@master:~$ sudo vim /etc/hostname

分别修改三台主机名为 master、slave1、slave2，修改 hostname 后需重启服务器。

注意：若是 CentOS 7 操作系统，用命令：hostnamectl set-hostname hostname 来修

改，修改完毕后重新 SHELL 登录或者重启服务器即可。如：

hostnamectl set-hostname master

hostnamectl set-hostname slave1

hostnamectl set-hostname slave2

------------------------------------------------------------------------------------------------------------------------------------------

- 3 -

1.1.3、配置 hosts 列表

hadoop@master:~$ sudo vim /etc/hosts

添加映射，一般格式 ip 全局主机名主机名别称，内容如下

10.100.168.101 master

10.100.168.102 slave1

10.100.168.103 slave2

后续访问域名、别名和访问 IP 的效果是一样的，测试三台主机是否互相可以 ping

通。根据实际情况看是否需要关闭防火墙，命令 sudo ufw disable 。为另外两台主

机创建共同的用户 hadoop 并授予相同权限。

1.2、配置 ssh 免密登录

配置 master 到 slave1、slave2 的 ssh 免密服务

1.2.1、安装 ssh 服务（若已安装可忽略）

检测是否安装 ssh 服务，命令 rpm -qa | grep ssh

查看 ssh 服务是否启动，命令 ps -e | grep sshd

安装 ssh 服务，命令 sudo apt-get install openssh-server

1.2.2、免密钥登录配置

hadoop 账户（非 root 账户）生成密钥命令：

hadoop@master:~$ ssh-keygen -t rsa

随后连续按 4 次回车，即可生成公钥 id_rsa.pub 和私钥 id_rsa，如下图：

------------------------------------------------------------------------------------------------------------------------------------------

- 4 -

要求每两台主机之间设置免密码，自己的主机与自己的主机间也要求设置免密码，将

在/home/hadoop/.ssh/id_rsa.pub 下公钥拷贝到另外两台主机，如下：

hadoop@master:~$ ssh-copy-id master

hadoop@master:~$ ssh-copy-id slave1

hadoop@master:~$ ssh-copy-id slave2

分别在另两台主机 slave1 和 slave2 上也执行以上步骤：

hadoop@slave1:~$ ssh-keygen -t rsa

hadoop@slave1:~$ ssh-copy-id slave1

hadoop@slave1:~$ ssh-copy-id master

hadoop@slave1:~$ ssh-copy-id slave2

hadoop@slave2:~$ ssh-keygen -t rsa

hadoop@slave2:~$ ssh-copy-id slave2

hadoop@slave2:~$ ssh-copy-id master

hadoop@slave2:~$ ssh-copy-id slave1

以上步骤之后，就完成了三台服务器两两之间免密登录。也可以把公钥都集中在 master

主节点，然后从 master 分发到 slave1、slave2 从节点服务器。

1.2.3、免密登录验证

分别输入 ssh localhost 或 ssh master 、 ssh slave1 、 ssh slave2 命

令，依次进行验证免密登录是否设置成功。

1.3、安装 jdk

1.3.1、卸载 jdk

（根据需要非必要）

查询是否安装 jdk，命令 rpm -qa | grep jdk

若安装低版本卸载，命令 rpm -e --nodeps 软件安装包名

1.3.2、安装 jdk 1.8

（注：三台机器都要安装 JDK）

1.3.2.1 简单安装法 apt-get：该方法安装的 java 无需添加路径

源一般是 OpenJDK，添加含有 OpenJDK 源的仓库，正常不需要，一般都有。

备份原始源文件 cp /etc/apt/sources.list /etc/apt/sources.list.bak

修改源即可 vim /etc/apt/sources.list

------------------------------------------------------------------------------------------------------------------------------------------

- 5 -

更新系统安装包缓存，并且安装 OpenJDK8：

hadoop@master:~$ sudo apt-get update

hadoop@master:~$ sudo apt-get install openjdk-8-jre openjdk-8-jdk

如果你系统中存在多个版本的 JDK，使用下列命令设置一个默认的 JDK：

hadoop@master:~$ sudo update-alternatives --config java

hadoop@master:~$ sudo update-alternatives --config javac

随后输入选择的

java

版本号

最后检查当前的 java 版本查看是否编译成功 java -version 。

1.3.2.2 手动安装 oracle JDK：（推荐）

下载或拷贝安装包：

直接去 oracle 官网下载，链接

https://www.oracle.com/cn/java/technologies/javase/downloads/#java8。

也可以使用 wget 命令下载，安装包在你执行这个命令时所在的文件夹位置

wget http://download.oracle.com/otn-pub/java/... .../jdk-8u261-linux-x64.tar.gz

将下载的安装包 jdk-8u261-linux-x64.tar.gz 通过 Xshell 上传至 hadoop 目录

/home/hadoop/opt 新建路径 mkdir /home/hadoop/opt ，可以将搭建集群的所需的

全部安装包都放在该路径下。

解压安装包并放到自己想放的位置：

进入目录 cd /home/hadoop/opt

解压安装包 tar -zxvf jdk-8u261-linux-x64.tar.gz

创建目标路径 sudo mkdir /usr/server/java

移动到目标路径 sudo mv jdk1.8.0_261/ /usr/server/java/jdk1.8

或

sudo tar -zxvf jdk-8u261-linux-x64.tar.gz -C /usr/server/java

sudo mv /usr/server/java/jdk1.8.0_261 /usr/server/java/jdk1.8

设置环境变量：

方案一：修改全局配置文件，作用于所有用户：

sudo vim /etc/profile

export JAVA_HOME=/usr/server/java/jdk1.8

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

剩余90页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

yongsilou

2023-07-24

资源内容总结的很到位，内容详实，很受用，学到了~
码代码的渣渣

2023-06-30

发现一个宝藏资源，赶紧冲冲冲！支持大佬~
kadomatsu

2023-03-27

资源内容总结的很到位，内容详实，很受用，学到了~

安之若素MAC

粉丝: 1
资源: 1

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

HBase+ElasticSearch搭建过程详解

hadoop2.7+spark3.2.1+pyspark3.2.1+python3.9

Spark的Shuffle总结分析

Hadoop+Hbase+Spark+Hive搭建

大数据笔记，包含Hadoop、Spark、Flink、Hive、Kafka、Flume、ZK......

徐老师大数据培训Hadoop+HBase+ZooKeeper+Spark+Kafka+Scala+Ambari

大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx

win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

Hadoop+ZooKeeper+HBase+hive(HQL)安装步骤

centOS 6.10 hadoop+spark+hive+HBase集群搭建

大数据实战启航班（Hadoop+Spark+Flink+离线计算+实时计算）

大数据（hadoop+spark+hbase+zookeeper+kafka+scala+ambari）全套视频教程（花3000￥买的）

Hadoop+Zookeeper+Hbase+Hive部署.doc

Centos+Hadoop+Hive+HBase

hadoop+zookeeper+hbase+hive集群安装配置

集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark

Hadoop+Spark生态系统操作与实践指南-余辉.pdf

eclipse集成hadoop+spark+hive开发源码实例

spark环境安装(Hadoop HA+Hbase+phoneix+kafka+flume+zookeeper+spark+scala)

hadoop+hive+spark部署文档

hadoop-3.3.4.tar.gz + winutils 安装环境

基于大数据的音乐推荐系统（适合本科毕设）

基于Hadoop的电影影评数据分析

hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

最新资源