实验一Hadoop大数据集群搭建
需积分: 15 72 浏览量
2022-11-11
14:28:49
上传
评论
收藏 462KB DOCX 举报
1
实 验 报 告
学 号
姓 名
专业班级
课程名称
大数据导论
学期
2022 年秋季学期
任课教师
完成日期
上机课时间
实 验 名 称
Hadoop 集群的搭建配置
一、实验要求（10%）
1. 成功创建 Linux 的虚拟机操作系统(Ubuntu 或 Centos)作为 namenode，并设置好虚拟网卡、使用 net
方式使虚拟机可以访问互联网。
2. 完成虚拟机 vim、net 等工具的安装(最小安装的需要)、Hadoop 环境变量的配置和安装。
3. 完成对 namenode 的链接克隆生成两台 datanode，并设置好 datanode 的 IP 地址，确保其可以访问
互联网。
4. 实现三台虚拟机两两之间的 ssh 无密登录。
5. 成功启动集群，且可通过 jps 命令查看各个虚拟机上活跃的节点（与实验要求一致），并可以正常
访问对应的 web 页面。
二、实验内容及步骤（80%）
1. 安装、配置 Linux 操作系统
首先，在清华大学镜像站下载 Ubuntu Server 22.04 LTS 的.iso 镜像文件。
按照微信公众号“软件工具”按照教程进行，完成虚拟机的创建和配置，呈现“login”提示，则
说明创建成功，可以输入用户名及其对应的密码登录，并使用命令“sudo useradd -m hadoop”和“sudo
passwd hadoop”创建 Hadoop 用户并设置密码。
不可或缺的一步是，需要保持真机的虚拟网卡 Vnet8 随机分配的 IP(本人为 192.168.10.100)与虚
拟机的 net 连接方式 IP 保持一致(ens33 文件)，再使用“ping www.baidu.com”检查网络连接无误即
可继续。
2. Hadoop、JDK 的安装和配置
使用 Xshell 工具将真机的 Hadoop 和 JDK 的安装包导入到虚拟机的/tmp 文件夹下，使用“sudo mkdir
/usr/local”命令创建新的文件夹 hadoop，并使用 cp 复制命令，将上述文件导入 local 文件夹（即为 hadoop
的安装路径）下，再使用“sudo tar -zxf hadoop.tar.gz”解压，之后配置环境变量、使用“sudo chown -R
hadoop:hadoop .”命令修正权限并修改 profile 文件，再使用“source /etc/profile”命令应用相关变更，
即完成安装 Hadoop。
安装成功的效果：
JDK 的安装也是类似，但更简单高效的安装方法为使用在线的安装命令“sudo apt -y install
openjdk-8-jdk”即可快速地安装 JDK。（还需简单修改一下 hadoop-env.sh 文件）
安装成功的效果：
资源评论
