没有合适的资源?快使用搜索试试~ 我知道了~
课程实验二:大数据离线分析实验1
需积分: 0 6 下载量 120 浏览量
2022-08-03
21:59:32
上传
评论
收藏 5.82MB PDF 举报
温馨提示
试读
119页
1.1 实验介绍 4 1.2 华为云资源开通 4 1.2.1 开通 MRS 集群 4 1.2.2 开通并配置 RDS 13 1.2.3 开通 OBS 服务 18
资源详情
资源评论
资源推荐
大数据离线分析实验
华为技术有限公司
大数据离线分析实验手册
第1页
目录
1 离线分析实验环境搭建 ..................................................................................................... 4
1.1 实验介绍 ...................................................................................................................................................... 4
1.2 华为云资源开通 ........................................................................................................................................... 4
1.2.1 开通 MRS 集群 ......................................................................................................................................... 4
1.2.2 开通并配置 RDS .................................................................................................................................... 13
1.2.3 开通 OBS 服务 ....................................................................................................................................... 18
2 大数据离线分析开发 ....................................................................................................... 21
2.1 实验介绍 .................................................................................................................................................... 21
2.1.1 关于本实验 ............................................................................................................................................. 21
2.1.2 实验目的 ................................................................................................................................................. 21
2.1.3 实验规划 ................................................................................................................................................. 21
2.2 实验流程 .................................................................................................................................................... 21
2.3 实验数据解释 ............................................................................................................................................ 22
2.3.1 事件日志数据基本格式 ........................................................................................................................... 22
2.3.2 商品点击 ................................................................................................................................................. 23
2.3.3 商品详情 ................................................................................................................................................. 24
2.3.4 商品收藏 ................................................................................................................................................. 25
2.3.5 商品评论 ................................................................................................................................................. 25
2.3.6 启动日志数据基本格式 ........................................................................................................................... 26
2.3.7 启动事件 ................................................................................................................................................. 27
2.3.8 数据库表及字段解释............................................................................................................................... 27
2.4 业务逻辑 .................................................................................................................................................... 29
2.5 实验步骤 .................................................................................................................................................... 29
2.5.1 实验步骤概览 ......................................................................................................................................... 29
2.5.2 数据准备 ................................................................................................................................................. 29
2.5.3 日志数据分层统计 .................................................................................................................................. 37
2.5.4 业务数据库数据分层统计 ....................................................................................................................... 65
大数据离线分析实验手册
第2页
2.5.5 业务宽表 ................................................................................................................................................. 81
2.5.6 ADS 层结果统计 ..................................................................................................................................... 83
2.5.7 数仓结果数据导出到关系型数据库 ......................................................................................................... 87
2.5.8 可视化 .................................................................................................................................................... 92
2.6 思考题 ....................................................................................................................................................... 95
3 云服务资源释放 .............................................................................................................. 96
3.1 释放大数据服务 MRS ................................................................................................................................ 96
3.2 释放云数据库 RDS .................................................................................................................................... 96
3.3 释放对象存储服务 OBS ............................................................................................................................. 96
3.4 释放网络资源 VPC .................................................................................................................................... 97
4 附录 ................................................................................................................................ 99
4.1 弹性服务器如何绑定弹性 IP ...................................................................................................................... 99
4.2 如何查看 Zookeepr 的 IP? ...................................................................................................................... 100
4.3 如何查看 Kafka 实例 Broker 的 IP? ........................................................................................................ 102
4.4 如何查看服务所在区域的 region 值? .................................................................................................... 103
4.5 常用 Linux 命令 ....................................................................................................................................... 105
4.5.1 命令概述 ............................................................................................................................................... 105
4.5.2 vi/vim ..................................................................................................................................................... 105
4.5.3 cd .......................................................................................................................................................... 105
4.5.4 mv ......................................................................................................................................................... 106
4.5.5 curl ........................................................................................................................................................ 107
4.5.6 yum ....................................................................................................................................................... 108
4.5.7 wget ...................................................................................................................................................... 108
4.5.8 ln ........................................................................................................................................................... 109
4.5.9 mkdir ..................................................................................................................................................... 110
4.5.10 chmod ................................................................................................................................................. 110
4.5.11 chown ................................................................................................................................................. 111
4.5.12 ls ......................................................................................................................................................... 112
4.5.13 cp ........................................................................................................................................................ 113
4.5.14 rm ........................................................................................................................................................ 113
4.5.15 cat ....................................................................................................................................................... 114
4.5.16 unzip ................................................................................................................................................... 115
4.5.17 source ................................................................................................................................................. 116
4.5.18 more .................................................................................................................................................... 116
4.5.19 tar ........................................................................................................................................................ 117
4.6 实验 FAQ ................................................................................................................................................. 118
大数据离线分析实验手册
第3页
大数据离线分析实验手册
第4页
1 离线分析实验环境搭建
1.1 实验介绍
本次实验讲述如何安装离线实验所需环境实验。
1.2 华为云资源开通
1.2.1 开通 MRS 集群
步骤 1 购买 MRS 服务。
打开华为云官网 www.huaweicloud.com,点击登录链接完成登录。
剩余118页未读,继续阅读
赶路的稻草人
- 粉丝: 22
- 资源: 330
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0