没有合适的资源?快使用搜索试试~ 我知道了~
5.实验指导书-实验1全分布模式下的Hadoop集群构建.docx
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 13 浏览量
2022-10-30
21:19:05
上传
评论
收藏 3.59MB DOCX 举报
温馨提示
试读
27页
。
资源推荐
资源详情
资源评论
实验一 全分布模式下的 Hadoop 集群构建
一、实验目的和要求
(一)熟悉 Linux 基本命令。
(二)掌握如何设置静态 IP 地址,掌握如何修改主机域名。
(四)掌握如何配置 Java 环境变量,掌握 Java 基本命令。
(五)了解为何需要配置 SSH 免密码登录,掌握如何配置 SSH 免密码登录。
(六)熟练掌握在 linux 环境下如何构建全分布模式下的 Hadoop 集群。
二、实验内容
(一)安装和配置 CentOS。
(二)安装和配置 Java 环境。
(三)启动和配置 SSH 免密码登录。
(四)安装和配置 Hadoop。
三、实验仪器、设备
PC,VMWare,CentOS 安装包,Oracle JDK 安装包,Hadoop 安装包。
四、实验原理
(一)Linux 基本命令
Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 UNIX 的
多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 UNIX 工具软件、应
用程序和网络协议。它支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思
想,是一个性能稳定的多用户网络操作系统。
Linux 操作系统诞生于 1991 年 10 月 5 日。Linux 存在着许多不同的 Linux 版本,但它
们都使用了 Linux 内核。Linux 可安装在各种计算机硬件设备中,比如手机、平板电脑、路
由器、视频游戏控制台、台式计算机、大型机和超级计算机。
严格来讲,Linux 这个词本身只表示 Linux 内核,但实际上人们已经习惯了用 Linux 来
形容整个基于 Linux 内核,并且使用 GNU 工程各种工具和数据库的操作系统。
本小节将介绍实验中涉及到的 Linux 操作系统命令:
(1)查看当前目录
pwd 命令用于显示当前目录:
[root@master ~]# pwd
/root
(2)目录切换
cd 命令用来切换目录:
[root@master local]#
(3)文件罗列
ls 命令用于查看文件与目录:
[root@master local]#ls
(4)文件或目录拷贝
cp 命令用于拷贝文件,若拷贝的对象为目录,则需要使用-r 参数:
[root@master local]#cp -r hadoop-2.8.1 /root/hadoop
(5)文件或目录移动或重命名
mv 命令用于移动文件,在实际使用中,也常用于重命名文件或目录:
[root@master ~]# mv hadoop hadoop2
(6)文件或目录删除
#当前位于/root,不是/usr/local
rm 命令用于删除文件,若删除的对象为目录,则需要使用-r 参数:
[root@master ~]# rm -rf hadoop2
(7)进程查看
#当前位于/root,不是/usr/local
ps 命令用于查看系统的所有进程:
[root@master ~]# ps
#查看当前进程
(8)文件压缩与解压
tar 命令用于文件压缩与解压,参数中的 c 表示压缩,x 表示解压缩:
[root@master local]# tar -zxvf /home/xlh/Downloads/hadoop-2.8.1.tar.gz
(9)查看文件内容
cat 命令用于查看文件内容:
[root@master ~]# cat /usr/local/hadoop-2.8.1/etc/hadoop/core-site.xml
(10)查看服务器 IP 配置
ip addr 命令用于查看服务器 IP 配置:
[xlh@master ~]$ ip addr
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN qlen 1
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
2: ens33: <BROADCAST,MULTICAST,UP,LOWER_UP>mtu 1500 qdisc pfifo_fast state
link/ether 00:0c:29:b8:e8:48 brd ff:ff:ff:ff:ff:ff
inet 192.168.18.131/24 brd 192.168.18.255 scope global ens33
valid_lft forever preferred_lft forever
valid_lft forever preferred_lft forever
3: virbr0: <NO-CARRIER,BROADCAST,MULTICAST,UP>mtu 1500 qdisc noqueue state
DOWN qlen 1000
link/ether 52:54:00:82:29:91 brd ff:ff:ff:ff:ff:ff
inet 192.168.122.1/24 brd 192.168.122.255 scope global virbr0
valid_lft forever preferred_lft forever
4: virbr0-nic: <BROADCAST,MULTICAST> mtu 1500 qdisc pfifo_fast master virbr0 state
DOWN qlen 1000
link/ether 52:54:00:82:29:91 brd ff:ff:ff:ff:ff:ff
[xlh@master ~]$
(二)vim 编辑器
vim 是一个类似于 vi 的著名的功能强大、高度可定制的文本编辑器,在Vi 的基础上改
进和增加了很多特性,vim 是 vi 的加强版,比 vi 更容易使用,vi 的命令几乎全部都可以在
vim 上使用。
vim 是实验中用到最多的文件编辑命令,命令行输入“vim 文件名”后,默认进入“命
令模式”,不可编辑文档,需键盘点击“i”键,方可编辑文档,编辑结束后,需按“ESC”
键,先退回命令模式,再按“:”进入末行模式,接着嵌入“wq”方可保存退出。
(三)Java 基本命令
在安装 Java 环境后,可以使用 Java 命令来编译、运行或者打包 Java 程序。
(1)查看 Java 版本
[root@master ~]# java -version
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
(2)编译 Java 程序
[root@master ~]# javac Helloworld.java
(3)运行 Java 程序
[root@master ~]# java Helloworld
Hello World!
(4)打包 Java 程序
adding: Helloworld.class(in = 426) (out= 289)(deflated 32%)
由于打包时并没有指定 manifest 文件,因此该 jar 包无法直接运行:
[root@master ~]# java -jar Helloworld.jar
no main manifest attribute, in Helloworld.jar
(5)打包携带 manifest 文件的 Java 程序
manifest 文件用于描述整个 Java 项目,最常用的功能是指定项目的入口类:
[root@master ~]# cat manifest.mf
Main-Class: Helloworld
打包时,加入-m 参数,并指定 manifest 文件名:
[root@master ~]# jar -cvfm Helloworld.jar manifest.mf Helloworld.class
added manifest
adding: Helloworld.class(in = 426) (out= 289)(deflated 32%)
之后,即可使用 java 命令直接运行该 jar 包:
[root@master ~]# java -jar Helloworld.jar
Hello World!
(四)SSH 免密认证
Hadoop 的基础是分布式文件系统 HDFS,HDFS 集群有两类节点以管理者-工作者的模
式运行,即一个 namenod(e 管理者)和多个 datanod(e 工作者)。在 Hadoop 启动以后,namenode
通过 SSH 来启动和停止各个节点上的各种守护进程,为了方便起见,需要在这些节点之间
执行指令时采用无需输入密码的认证方式,因此,需要将 SSH 配置成使用无需输入密码的
密钥文件认证方式。
(五)Hadoop 配置文件
Hadoop 配置文件很多,配置文件位于$HADOOP_HOME/etc/hadoop,关键的几个配置
文件如表 1-1 所示。
表 1-1 Hadoop 主要配置文件
hadoop-env.sh
yarn-env.sh
mapred-env.sh
core-site.xml
记录 Hadoop 要用的环境变量
记录 YARN 要用的环境变量
记录 MapReduce 要用的环境变量
Hadoop core 的配置项,包括 HDFS 和 MapReduce 常
用的 I/O 设置等
HDFS 守 护 进 程 的 配 置 项 , 包 括 NameNode 、
SecondaryNameNode、DataNode 等
YARN 守护进程的配置项,包括 ResourceManager、
NodeManager 等
mapred-site.xml
slaves
MapReduce 计算框架的配置项
运行 DataNode 和 NodeManager 的从节点机器列表
(每行 1 个)
五、实验步骤
(一)安装和配置 CentOS
1.安装 CentOS 虚拟机
2.设置静态 IP 地址
为了让主节点和从节点之间的通信可控,我们需要各个节点配置静态 IP,方法是修改
相 应 的 配 置 文 件 , 对 于 CentOS 7 而 言 , 对 应 的 配 置 文 件 为
/etc/sysconfig/network-scripts/ifcfg-ens33,各机器可能不尽相同,自行查看本人的机器。
(1)查看主节点网卡配置文件名,具体过程如图1-1 所示。
剩余26页未读,继续阅读
资源评论
不吃鸳鸯锅
- 粉丝: 8299
- 资源: 2万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功