没有合适的资源？快使用搜索试试~ 我知道了~

文库首页大数据Hadoop6-大数据技术之Hadoop运行环境搭建（重点）

6-大数据技术之Hadoop运行环境搭建（重点）

hadoop

需积分: 5 1 下载量 28 浏览量 2023-12-15 11:15:53 上传评论收藏 2.3MB PDF 举报

温馨提示

试读

42页

6_大数据技术之Hadoop运行环境搭建（重点）

资源推荐

资源详情

资源评论

大数据技术之 Hadoop（运行环境搭建）

—————————————————————————————

Hadoop 运行环境搭建（重点）

第 2 章 Hadoop 运行环境搭建（重点）

2.1 模板虚拟机环境准备

0）安装模板虚拟机，IP 地址 192.168.10.100、主机名称 hadoop100、内存 4G、硬盘

50G

详见虚拟机环境安装文档。

1 ） hadoop100 虚拟机配置要求如下（本文 Linux 系统全部以

CentOS-7.5-x86-1804 为例）

（1）使用 yum 安装需要虚拟机可以正常上网，yum 安装前可以先测试下虚拟机联网

情况

[root@hadoop100 ~]# ping www.baidu.com

PING www.baidu.com (14.215.177.39) 56(84) bytes of data.

64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=1 ttl=128

time=8.60 ms

64 bytes from 14.215.177.39 (14.215.177.39): icmp_seq=2 ttl=128

time=7.72 ms

（2）安装 epel-release

注：Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软

件包，适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库，大多数 rpm

包在官方 repository 中是找不到的）

[root@hadoop100 ~]# yum install -y epel-release

（3）注意：如果 Linux 安装的是最小系统版，还需要安装如下工具；如果安装的是

Linux 桌面标准版，不需要执行如下操作

 net-tool：工具包集合，包含 ifconfig 等命令

[root@hadoop100 ~]# yum install -y net-tools

大数据技术之 Hadoop（运行环境搭建）

—————————————————————————————



vi：编辑器

[root@hadoop100 ~]# yum install -y vi

2）关闭防火墙，关闭防火墙开机自启

[root@hadoop100 ~]# systemctl stop firewalld

[root@hadoop100 ~]# systemctl disable firewalld.service

注意：在企业时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安全的

防火墙

3）创建 hadoop 用户，并修改 hadoop 用户的密码

[root@hadoop100 ~]# useradd hadoop

[root@hadoop100 ~]# passwd hadoop

4）配置 hadoop 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

[root@hadoop100 ~]# vi /etc/sudoers

修改/etc/sudoers 文件，在%wheel(通过输入/%wheel 进行搜索)这行下面添加一

行，如下所示：

## Allow root to run any commands anywhere

root ALL=(ALL) ALL

## Allows people in group wheel to run all commands

%wheel ALL=(ALL) ALL

hadoop ALL=(ALL) NOPASSWD:ALL

注意：hadoop 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你

先配置了 hadoop 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回

需要密码。所以 hadoop 要放到%wheel 这行下面。

5）在/opt 目录下创建文件夹，并修改所属主和所属组

（1）在/opt 目录下创建 module、software 文件夹

大数据技术之 Hadoop（运行环境搭建）

—————————————————————————————

[root@hadoop100 ~]# mkdir /opt/module

[root@hadoop100 ~]# mkdir /opt/software

（2）修改 module、software 文件夹的所有者和所属组均为 hadoop 用户

[root@hadoop100 ~]# chown hadoop:hadoop /opt/module

[root@hadoop100 ~]# chown hadoop:hadoop /opt/software

（3）查看 module、software 文件夹的所有者和所属组

[root@hadoop100 ~]# cd /opt/

[root@hadoop100 opt]# ll

总用量 12

drwxr-xr-x. 2 hadoop hadoop 4096 5 月 28 17:18 module

drwxr-xr-x. 2 root root 4096 9 月 7 2017 rh

drwxr-xr-x. 2 hadoop hadoop 4096 5 月 28 17:18 software

6）卸载虚拟机自带的 JDK

注意：如果你的虚拟机是最小化安装不需要执行这一步。

[root@hadoop100 ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

 rpm -qa：查询所安装的所有 rpm 软件包

 grep -i：忽略大小写

 xargs -n1：表示每次只传递一个参数

 rpm -e –nodeps：强制卸载软件

7）重启虚拟机

[root@hadoop100 ~]# reboot

2.2 克隆虚拟机

1 ）利用模板机 hadoop100 ，克隆三台虚拟机： hadoop102 hadoop103

hadoop104

注意：克隆时，要先关闭 hadoop100

2）修改克隆机 IP，以下以 hadoop102 举例说明

（1）修改克隆虚拟机的静态 IP

[root@hadoop100 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

改成

DEVICE=ens33

TYPE=Ethernet

大数据技术之 Hadoop（运行环境搭建）

—————————————————————————————

ONBOOT=yes

BOOTPROTO=static

NAME="ens33"

IPADDR=192.168.10.102

PREFIX=24

GATEWAY=192.168.10.2

DNS1=192.168.10.2

（2）查看 Linux 虚拟机的虚拟网络编辑器，编辑->虚拟网络编辑器->VMnet8

大数据技术之 Hadoop（运行环境搭建）

—————————————————————————————

（3）查看 Windows 系统适配器 VMware Network Adapter VMnet8 的 IP 地址

剩余41页未读，继续阅读

评论收藏

内容反馈

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

一叶知秋xj

粉丝: 121
资源: 42

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

6-大数据技术之Hadoop运行环境搭建（重点）

大数据-Hadoop环境搭建(单机)

大数据平台实践 二.Hadoop环境的搭建

3_尚硅谷大数据之Hadoop运行环境搭建1

《Hadoop大数据技术与应用》-Hadoop环境搭建.pdf

大数据环境搭建（CentOS-7 Hadoop 2.6.0 Hbase 0.99.2）

大数据技术之Hadoop(入门).docx

大数据学习所需基本知识以及搭建Hadoop大数据环境过程.docx

Hadoop大数据开发基础-PPT课件

Hadoop大数据计算平台搭建实践.pdf

hadoop-common-2.6.0-bin-master.zip

《Hadoop大数据技术与应用》-Hadoop环境搭建.docx

详解Hadoop 运行环境搭建过程

初学大数据，手动搭建Hadoop集群环境完整学习文档

大数据教程之搭建Hadoop集群.zip_大数据环境搭建hadoop

邮政大数据Hadoop平台技术标书

大数据培训Hadoop-jdk241版本

3.基于hadoop集群搭建hbase

【推荐】大数据时代，你不得不知的Hadoop使用技巧

《Hadoop大数据开发实战》教学教案—02搭建Hadoop集群.pdf

第1集-Hadoop环境搭建 - linux（centos7） - ssh免登陆.pdf

《Hadoop大数据开发实战》教学教案—02搭建Hadoop集群.docx

大数据学习环境搭建系列(一)大数据集群平台介绍.pdf

hadoop快速入门

《大数据开发工程师系列：Hadoop & Spark大数据开发实战》1

华为Big_Data-Data 华为 大数据考试全部教材

Spark大数据技术与应用-教学大纲.doc.docx

hadoop-3.2.0部署及相关工具

《大数据技术与应用》教案.docx

最新资源

大数据平台实践二.Hadoop环境的搭建

华为Big_Data-Data 华为大数据考试全部教材