没有合适的资源?快使用搜索试试~ 我知道了~
2022年全国职业院校技能大赛高职组大数据技术与应用赛项赛题任务书5.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 3 下载量 113 浏览量
2022-11-24
12:23:21
上传
评论
收藏 800KB PDF 举报
温馨提示
试读
18页
...
资源推荐
资源详情
资源评论
2022 年全国职业院校技能大赛
高职组
“大数据技术与应用”
赛项赛卷(5 卷)
任
务
书
参赛队编号:
背景描述
大数据时代,电商经营模式发生很大改变。在传统运营模式中,
缺乏数据积累,人们在做出一些决策行为过程中,更多是凭借个人经
验和直觉,发展路径比较自我封闭。而大数据时代,为人们提供一种
全新的思路,通过大量的数据分析得出的结果将更加现实和准确。商
家可以对客户的消费行为信息数据进行收集和整理,比如消费者购买
产品的花费、选择产品的渠道、偏好产品的类型、产品回购周期、购
买产品的目的、消费者家庭背景、工作和生活环境、个人消费观和价
值观等。通过数据追踪,知道顾客从哪儿来,是看了某网站投放的广
告还是通过朋友推荐链接,是新访客还是老用户,喜欢浏览什么产品,
购物车有无商品,是否清空,还有每一笔交易记录,精准锁定一定年
龄、收入、对产品有兴趣的顾客,对顾客进行分组、标签化,通过不
同标签组合运用,获得不同目标群体,以此开展精准推送。
因数据驱动的零售新时代已经到来,没有大数据,我们无法为消
费者提供这些体验,为完成电商的大数据分析工作,你所在的小组将
应用大数据技术,以 Scala 作为整个项目的基础开发语言,基于大数
据平台综合利用 Spark、Flink、Vue.js 等技术,对数据进行处理、
分析及可视化呈现,你们作为该小组的技术人员,请按照下面任务完
成本次工作。
模块 A:大数据平台搭建(容器环境)(15 分)
环境说明:
服务端登录地址详见各模块服务端说明。
补充说明:宿主机可通过 Asbru 工具或 SSH 客户端进行 SSH 访问;
相关软件安装包在宿主机的/opt 目录下,请选择对应的安装包进行
安装,用不到的可忽略;
所有模块中应用命令必须采用绝对路径;
从本地仓库中拉取镜像,并启动 3 个容器
进入 Master 节点的方式为
docker exec –it master /bin/bash
进入 Slave1 节点的方式为
docker exec –it slave1 /bin/bash
进入 Slave2 节点的方式为
docker exec –it slave2 /bin/bash
同时将/opt 目录下的所有安装包移动到 3 个容器节点中。
任务一:Hadoop HA 安装配置
本环节需要使用 root 用户完成相关配置,安装 Hadoop 需要配置前置环境。
命令中要求使用绝对路径,具体要求如下:
1、 将 Master 节点 JDK 安装包解压并移动到/usr/local/src 路径下,将命令复
制并粘贴至对应报告中;
2、 请完成 host 相关配置,将三个节点分别命名为 master、slave1、slave2,
配置 SSH 免密登录,从 Master 节点复制 JDK 环境变量文件以及 JDK 解压后
的安装文件到 Slave1、Slave2 节点,配置 java 环境变量,配置完毕后在
Master 节点分别执行“java”和“javac”命令,将命令行执行结果分别截
图并粘贴至对应报告中;
3、 Zookeeper 配置完毕后,分发 Zookeeper,分别在 3 个节点启动 Zookeeper,
并在 Slave2 节点查看 ZooKeeper 运行状态,将查看命令和结果复制并粘贴
至对应报告中;
4、 ZooKeeper、Hadoop HA 配置完毕后,请将 dfs.ha.namenodes.hadoopcluster
设置为 nn1,nn2 并在 Master 节点启动 Hadoop,并查看服务(nn1,nn2)进程状
态,并将查看命令及结果复制并粘贴至对应报告中;
5、 Hadoop HA 配置完毕后,在 Slave1 节点查看服务进程,将查看命令及结果复
制并粘贴至对应报告中。
任务二:Flume 安装配置
本环节需要使用 root 用户完成相关配置,已安装 Hadoop 及需要配置前置环
境,具体要求如下:
1、 设置 Flume 环境变量,并使环境变量只对当前 root 用户生效,将变量内容
复制并粘贴至对应报告中;
2、 完善相关配置,监控 Hadoop 的 namenode 日志,传输到 HDFS 的是/tmp/flume
目录,将 conf-file 中的修改内容复制并粘贴至对应报告中;
3、 启动 Flume 传输 Hadoop 日志,查看 HDFS 中/tmp/flume 目录下生成的文件,
将查看命令及结果(至少 10 条结果)复制并粘贴至对应报告中。
任务三:Sqoop 安装配置
本环节需要使用 root 用户完成相关配置,已安装 Hadoop 及需要配置前置环
境,具体要求如下:
1、 将 Master 节点 Sqoop 安装包解压,修改解压后文件夹名为 sqoop 并移动到
/usr/local/src 路径下,将全部命令复制粘贴至对应报告中;
剩余17页未读,继续阅读
资源评论
- 邓啾啾2024-03-28这个资源总结的也太全面了吧,内容详实,对我帮助很大。
- Java爱好者Sun2023-04-26资源质量不错,和资源描述一致,内容详细,对我很有用。
- guangchengershu2023-02-13感谢资源主的分享,这个资源对我来说很有用,内容描述详尽,值得借鉴。
春哥111
- 粉丝: 1w+
- 资源: 5万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功