没有合适的资源?快使用搜索试试~ 我知道了~
课程实验一:云主机实现大数据实验1
需积分: 0 3 下载量 173 浏览量
2022-08-03
21:19:36
上传
评论
收藏 3.18MB PDF 举报
温馨提示
试读
45页
1.1 实验介绍 3 1.1.1 关于本实验 3 1.1.2 实验目的 3 1.1.3 准备实验环境 5 1.2 购买华为云 ECS 5 2.1 实验介绍 13
资源推荐
资源详情
资源评论
云主机实现大数据实验
华为技术有限公司
云主机实现大数据
第1页
目录
1 准备华为云环境 ................................................................................................................ 3
1.1 实验介绍 ...................................................................................................................................................... 3
1.1.1 关于本实验 ............................................................................................................................................... 3
1.1.2 实验目的 ................................................................................................................................................... 3
1.1.3 准备实验环境 ........................................................................................................................................... 5
1.2 购买华为云 ECS .......................................................................................................................................... 5
1.3 购买 OBS .................................................................................................................................................... 9
2 搭建 Hadoop 集群.......................................................................................................... 13
2.1 实验介绍 .................................................................................................................................................... 13
2.1.1 关于本实验 ............................................................................................................................................. 13
2.1.2 实验目的 ................................................................................................................................................. 13
2.2 Hadoop 集群搭建 ....................................................................................................................................... 13
2.2.1 配置 ECS................................................................................................................................................ 13
2.2.2 安装 OpenJDK ....................................................................................................................................... 18
2.3 搭建 Hadoop 集群 ..................................................................................................................................... 20
2.3.1 搭建 Hadoop 集群 .................................................................................................................................. 20
2.3.2 测试与 OBS 互联 .................................................................................................................................... 30
3 MapReduce 程序实验 .................................................................................................... 32
3.1 实验介绍 .................................................................................................................................................... 32
3.1.1 关于本实验 ............................................................................................................................................. 32
3.2 实验目的 .................................................................................................................................................... 32
3.3 MapReduce 存算分离 ................................................................................................................................ 32
3.3.1 测试 Hadoop 集群功能 ........................................................................................................................... 32
4 释放云服务资源 .............................................................................................................. 34
4.1 释放弹性云服务器 ECS ............................................................................................................................. 34
4.2 删除 OBS 桶 .............................................................................................................................................. 35
5 附录 Linux 常用命令 ..................................................................................................... 36
云主机实现大数据
第2页
5.1 ls 命令 ........................................................................................................................................................ 36
5.2 cd 命令 ....................................................................................................................................................... 36
5.3 pwd 命令 .................................................................................................................................................... 36
5.4 mkdir 命令 .................................................................................................................................................. 37
5.5 rm 命令 ....................................................................................................................................................... 37
5.6 rmdir 命令 ................................................................................................................................................... 37
5.7 mv 命令 ...................................................................................................................................................... 38
5.8 cp 命令 ....................................................................................................................................................... 38
5.9 cat 命令 ..................................................................................................................................................... 39
5.10 more 命令................................................................................................................................................. 39
5.11 less 命令 .................................................................................................................................................. 40
5.12 head 命令 ................................................................................................................................................. 41
5.13 tail 命令 .................................................................................................................................................... 41
5.14 vim 命令 ................................................................................................................................................... 42
5.14.1 启动 vim ............................................................................................................................................... 42
5.14.2 vim 的模式............................................................................................................................................. 42
5.14.3 插入命令 ............................................................................................................................................... 42
5.14.4 查找命令 ............................................................................................................................................... 42
5.14.5 撤销和重做 ........................................................................................................................................... 43
5.14.6 删除命令 ............................................................................................................................................... 43
5.14.7 拷贝和粘贴 ........................................................................................................................................... 43
5.14.8 退出命令 ............................................................................................................................................... 44
5.14.9 帮助命令 ............................................................................................................................................... 44
云主机实现大数据
第3页
1 准备华为云环境
1.1 实验介绍
1.1.1 关于本实验
本实验通过购买华为云 ECS 和在华为云上选取对象存储服务 OBS 服务,为后续实验提供搭
建环境基础。本实验的基本步骤包含:购买并配置 ECS;购买 OBS 并获取 AK、SK 信息;
搭建 Hadoop 集群;搭建 MapReduce 集群并验证存算分离。
1.1.2 实验目的
⚫
掌握华为云上购买 ECS 步骤。
⚫
掌握华为云上选取对象存储服务 OBS。
⚫
掌握 Hadoop 集群搭建。
⚫
掌握 MapReduce 实验实现存算分离。
云主机实现大数据
第4页
1.1.3 实验流程图
剩余44页未读,继续阅读
资源评论
半清斋
- 粉丝: 55
- 资源: 322
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功