江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程.docx

江苏省高等职业院校技能大赛大数据技术与应用赛项竞赛规程 本大赛旨在提高学生对大数据知识和技术的学习热情，提高学生职业素养和职业技能，展示职教改革成果及参赛师生良好精神风貌。通过举行本赛项，可以搭建校企合作平台，提高高职电子信息类及有关专业毕业生能力素质，满足企业用人需求，增进校企合作协同育人，对接产业发展，实现行业资源、企业资源与教学资源的有机融合，使高职院校在专业建设、课程建设、人才培养方案和人才培养模式等方面，跟踪社会发展的最新需要，缩小人才培养与行业需求差距，引领职业院校专业建设与课程改革。 大数据技术与应用赛项竞赛规程主要包括以下几个方面： 1. 掌握 Hadoop 平台环境布署与基本配置，理解基于大数据计算平台的常见应用。 2. 综合运用 numpy、pandas、matplotlib、scikit 模块和 MapReduce 技术、分布式存储系统 HDFS、分布式计算框架 MapReduce/Yarn、数据仓库 Hive、Python 等开发语言工具和技术，匹配和连接数据源，实现大数据的采集、提取、清洗、转换、分析、挖掘操作，产生分析成果，并且实现可视化展现。 3. 根据项目应用需求和分析成果，完毕数据分析汇报的编写。 大数据技术与应用赛项竞赛规程对参赛选手的要求包括： * 掌握 Hadoop 平台安装布署和基本配置 * 掌握 HDFS 常用操作命令 * 掌握 Hive 数据仓库导入、导出以及同 Hadoop 数据文献的转换 * 掌握基于 MapReduce 的 HDFS 文献系统的文献数据的数据查询、整顿和计算 * 掌握数据清洗、整顿、计算和体现应用 Python 编程工具 * 掌握综合分析综合应用数据抓取、清洗、整顿、计算和体现等有关知识及技术 本赛项竞赛方式为团体赛，每支参赛队由 1 名领队，3 名选手（其中队长 1 名），2 名指导教师构成。竞赛时间为 4 小时，竞赛内容包括 Hadoop 平台安装布署和基本配置、数据抓取、数据清洗、整顿、计算和体现、综合分析等几个方面。