没有合适的资源?快使用搜索试试~ 我知道了~
任务一:完成Hadoop集群部署前环境的准备工作 1.1 虚拟机环境准备 1. 安装虚拟机 2. 克隆虚拟机 3. 修改网络配置 4. 修改主机名和映射 5. 关闭防火墙 1.2 安装JDK 1.3 安装Hadoop 1.4 集群配置 1. 编写集群分发脚本xsync 2. 集群部署规划 表 1.1 hadoop101 hadoop102 hadoop103 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager 3. 配置集群 (1)核心配置文件 配置core-site.xml (2)HDFS配置文件 配置 hadoop-env.sh 配置 hadoop-site.xml (3)YARN配置文件 配置 yarn-env.sh 配置 yarn-site.xml (4)MapReduce配置文件 配置 mapred-env.sh 配置 mapred-site.xml 4. 在集群上分发配置
资源推荐
资源详情
资源评论
信 息 工 程 学 院
《工程实践 III》
课程大作业
课程名称: 工程实践 III
(大数据应用开发实践)
学 院: 信息工程学院
专 业: 数据科学与大数据技术
班 级: 大数据 201
姓 名: xx
学 号: 2020080405xx
成 绩:
任课教师: xx
作业 1
Hadoop 实验
分值
20
得分
作业
目的
要求
【作业要求】
1.完成 Hadoop 集群部署前环境的准备工作
2.能够将本地文件存储到集群中
3.能够从集群中下载文件到本地
4.举例练习 Hadoop 的常用命令
4.编写程序,用用 MR 计算单词个数
【作业目的】
1.理解 Hadoop 的体系结构
2.掌握 Hadoop 的部署方式
3.掌握 Hadoop 的常用命令
4.掌握运行 MapReduce 程序的方法
作业内容
与完成情况
一. Hadoop 部署前的环境准备工作
(一) 配置 CentOS 网络以及主机名
1. 配置网络
vim /etc/sysconfig/network-scripts/ifcfg-ens33
2. 修改主机名
vim /etcc/sysconfig/network
3. 修改映射
Vim /ettc/hosts
4. 关闭防火墙
vim /etc/selinux/config
(二) 克隆虚拟机
(三) 修改克隆机的静态 IP
1. hadoop139
2. hadoop140
(四) 修改主机名和映射
1. hadoop139
(1) 主机名
Vim /etc/sysconfig/network
编辑修改:HOSTNAME=hadoop139
(2) 映射
vim /etc/hosts
2. Hadoop140
(1) 主机名
Vim /etc/sysconfig/network
编辑修改:HOSTNAME=hadoop139
(2) 映射
vim /etc/hosts
(五) 关闭防火墙
Vim /etc/selinux/config
编辑修改:SELNUX=disabled
(六) 创建 Hadoop 用户
1. 创建用户
user Hadoop
passwd 123456
2. 配置用户权限
vim /etc/sudoers
3. 在/opt 目录下创建文件夹
二. Hadoop 集群部署
(一) 准备三台客户机
hadoop138,hadoop139,hadoop140,均已关闭防火墙,配置静态 IP,修
改主机名称和映射,创建 hadoop 用户,在/opt 目录下创建文件夹。
(二) JDK 的安转与配置
1. 卸载现有的 JDK
查询是否安转 JAVA 软件
rpm -qa | grep java
卸载 JDK
Sudo rpm -e
2. 将 jdk1.8 导入至 opt 目录下的 software 文件夹下面
3. 解压安转 JDK
4. 配置 JDK 环境变量
5. 查看 JDK
(三) Hadoop 的安转与配置
解压安转 hadoop-2.7.3.tar.gz,配置 hadoop 环境变量,并查看是否安转
成功。
剩余56页未读,继续阅读
资源评论
肉肉肉肉肉肉~丸子
- 粉丝: 264
- 资源: 157
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功