没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
1
2023 年全国职业院校技能大赛
赛题第 05 套
赛项名称: 大数据应用开发
英文名称: Big Data Application Development
赛项组别: 高等职业教育组
赛项编号: GZ033
2
背景描述
工业互联网是工业全要素、全产业链、全价值链的全面连接,是
人、机、物、工厂互联互通的新型工业生产制造服务体系,是互联网
从消费领域向生产领域、从虚拟经济向实体经济拓展的核心载体,是
建设现代化经济体系、实现高质量发展和塑造全球产业竞争力的关键
支撑,工业大数据则是工业互联网实现工业要素互联之后的核心价值
创造者。随着大数据行业的发展,工业数据收集呈现时间维度不断延
长、数据范围不断扩大、数据粒度不断细化的趋势。以上三个维度的
变化使得企业所积累的数据量以加速度的方式在增加,最终构成了工
业大数据的集合。
为完成工业大数据分析工作,你所在的小组将应用大数据技术,
以 Scala 作为整个项目的基础开发语言,基于大数据平台综合利用 H
ive、Spark、Flink、Vue.js 等技术,对数据进行处理、分析及可视
化呈现,你们作为该小组的技术人员,请按照下面任务完成本次工作。
3
任务 A:大数据平台搭建(容器环境)(15 分)
环境说明:
服务端登录地址详见各任务服务端说明。
补充说明:宿主机及各容器节点可通过 Asbru 工具或 SSH 客户端进
行 SSH 访问。
子任务一:Hadoop 完全分布式安装配置
本任务需要使用 root 用户完成相关配置,安装 Hadoop 需要配置前置环境。
命令中要求使用绝对路径,具体要求如下:
1、 从 宿 主 机 /opt 目 录 下 将 文 件 hadoop-2.7.7.tar.gz 、
jdk-8u212-linux-x64.tar.gz 复制到容器 master 中的/opt/software 路径
中(若路径不存在,则需新建),将 master 节点 JDK 安装包解压到/opt/module
路径中(若路径不存在,则需新建),将 JDK 解压命令复制并粘贴至客户端桌
面【Release\任务 A 提交结果.docx】中对应的任务序号下;
2、 修改容器中/etc/profile 文件,设置 JDK 环境变量并使其生效,配置完毕后
在 master 节点分别执行“java -version”和“javac”命令,将命令行执
行结果分别截图并粘贴至客户端桌面【Release\任务 A 提交结果.docx】中
对应的任务序号下;
3、 请完成 host 相关配置,将三个节点分别命名为 master、slave1、slave2,
并做免密登录,用 scp 命令并使用绝对路径从 master 复制 JDK 解压后的安
装文件到 slave1、slave2 节点(若路径不存在,则需新建),并配置
slave1、slave2 相关环境变量,将全部 scp 复制 JDK 的命令复制并粘贴至客
户端桌面【Release\任务 A 提交结果.docx】中对应的任务序号下;
4、 在 master 将 Hadoop 解压到/opt/module(若路径不存在,则需新建)目录下,
并将解压包分发至 slave1、slave2 中,其中 master、slave1、slave2 节点
均作为 datanode,配置好相关环境,初始化 Hadoop 环境 namenode,将初始
化命令及初始化结果截图(截取初始化结果日志最后 20 行即可)粘贴至客
4
户端桌面【Release\任务 A 提交结果.docx】中对应的任务序号下;
5、 启动 Hadoop 集群(包括 hdfs 和 yarn),使用 jps 命令查看 master 节点与
slave1 节 点 的 Java 进 程 , 将 jps 命 令 与 结 果 截 图 粘 贴 至 客 户 端 桌 面
【Release\任务 A 提交结果.docx】中对应的任务序号下。
子任务二:Flume 安装配置
本任务需要使用 root 用户完成相关配置,已安装 Hadoop 及需要配置前置环
境,具体要求如下:
1、 从宿主机/opt 目录下将文件 apache-flume-1.7.0-bin.tar.gz 复制到容器
master 中的/opt/software 路径中(若路径不存在,则需新建),将 Master
节点 Flume 安装包解压到/opt/module 目录下,将解压命令复制并粘贴至客
户端桌面【Release\任务 A 提交结果.docx】中对应的任务序号下;
2、 完善相关配置、环境变量,并使环境变量生效,执行命令 flume-ng version
并将命令与结果截图粘贴至客户端桌面【Release\任务 A 提交结果.docx】
中对应的任务序号下;
3、 启动 Flume 传输 Hadoop 日志(namenode 或 datanode 日志),查看 HDFS 中
/tmp/flume 目录下生成的内容,将查看命令及结果(至少 5 条结果)截图并
粘贴至客户端桌面【Release\任务 A 提交结果.docx】中对应的任务序号下。
子任务三:Kafka 安装配置
本任务需要使用 root 用户完成相关配置,已安装 Hadoop 及需要配置前置环
境,具体要求如下:
1、 从 宿 主 机 /opt 目 录 下 将 文 件 zookeeper-3.4.6.tar.gz 、
kafka_2.12-2.0.0.tgz 复制到容器 master 中的/opt/software 路径中(若
路径不存在,则需新建),将 Master 节点 Zookeeper、kafka 安装包解压到
/opt/module 目录下,将 kafka 解压命令复制并粘贴至客户端桌面【Release\
任务 A 提交结果.docx】中对应的任务序号下;
剩余18页未读,继续阅读
资源评论
我不懂竞赛
- 粉丝: 1822
- 资源: 25
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功