2021高职 大数据技术与应用 任务书2(赛项赛题).pdf

【2021高职 大数据技术与应用 任务书2(赛项赛题)】 本次赛题聚焦于大数据技术在实际应用场景中的运用，主要涉及Hadoop平台的部署管理、Flume的数据采集以及Zookeeper的配置，同时涵盖数据采集与处理的实践。以下是各个模块的详细说明： 模块A：Hadoop平台及组件的部署管理 1. 在部署Hadoop全分布系统时，首先需要在主节点上解压JDK包，并将其移动到指定目录。接着，设置JDK环境变量，确保只对root用户生效。 2. 使用SSH密钥登录配置，允许root用户从master节点无密码登录到slave1和slave2节点，实现集群间通信的安全自动化。 3. 配置Hadoop相关的环境变量文件，如hadoop-env.sh和core-site.xml，确保集群配置正确。 4. 初始化Hadoop环境，执行HDFS的格式化操作，以创建NameNode和DataNode的基本结构。 5. 检查namenode和datanode的运行状态，通过jps命令查看各节点进程。 模块B：Flume部署管理 1. 设置Flume环境变量，仅对当前root用户生效，然后配置flume-env.sh文件以调整Flume运行参数。 2. 使用Flume收集Hadoop的日志数据，配置conf-file文件，并启动Flume agent，将日志数据传输到HDFS。同时，验证HDFS上生成的文件内容。 3. 检查Flume在HDFS的/tmp/flume目录下产生的日志文件，收集并分析数据。 模块C：Zookeeper部署管理 1. 安装Zookeeper，解压到指定目录，并重命名解压后的文件夹。 2. 设置ZOOKEEPER_HOME环境变量，便于Zookeeper的执行文件查找。 3. 配置zoo.cfg文件，包括服务器ID、数据存储路径等关键设置。 4. 编写myid文件，定义每个节点的唯一ID，这是Zookeeper集群中的必要配置。 5. 启动Zookeeper服务，并检查每个节点的服务状态，确保集群正常运行。 模块B：数据采集与处理 1. 对餐饮外送统计平台的网站源码进行分析，了解网站结构，确定可抓取的数据元素。 2. 使用Web爬虫工具（如Scrapy）进行数据抓取，获取餐饮外卖行业的订单量、用户规模等关键信息。 3. 数据清洗和预处理，去除无效或错误数据，确保后续分析的准确性。 4. 应用Python、Java或Scala等编程语言对抓取的数据进行深度分析，可能涉及统计分析、数据挖掘等技术。 5. 结果可视化，利用ECharts等工具将分析结果以图表形式展示，以便于理解和解读。 整个赛题旨在考察参赛者对大数据技术的综合应用能力，包括大数据平台的搭建、数据的采集、处理以及分析，同时强调团队协作和报告编写能力，以满足ChinaSkills公司对外卖市场的评估需求。完成这些任务不仅需要扎实的技术基础，还需要灵活的解决方案设计和实施能力。