《大数据应用工程》培训计划.pdf

《大数据应用工程》培训计划是南京市职业培训中心为了培养具备大数据处理能力的专业人才而设立的课程。该课程总共100学时，分为理论教学和实操/实训两部分，旨在帮助学员掌握大数据基础理论，形成大数据应用开发思维，并能实际操作完成大数据项目。 在理论教学部分，课程涵盖以下主要内容： 1. 大数据概述：学员需要理解大数据的基本概念，如特征、数据量单位，以及大数据的不同类型。会深入探讨大数据系统的设计背景、存在的问题、设计思想、目标和原则，以及大数据系统的整体逻辑架构。 2. Hadoop及HDFS文件系统：学员将学习HDFS（Hadoop分布式文件系统）的基本概念、架构，掌握如何使用HDFS的命令操作，以及Java对HDFS的编程，包括目录管理、文件操作等。此外，还将涉及Hadoop生态中的Zookeeper应用。 3. MapReduce编程：学员将了解MapReduce的设计理念、系统架构，学习MapReduce的开发流程，定制输入输出数据格式，以及任务的组合技巧。同时，课程还会涉及与关系型数据库的交互。 4. HBase分布式数据库：HBase的学习内容包括其设计目标、逻辑架构和物理架构，以及如何用Java进行数据库操作，如创建、查询和修改记录。 5. Hive数据仓库：学员将理解Hive的工作原理、架构设计，学习HQL（Hive SQL）语言，包括数据导入、查询和数据仓库的管理。 6. Spark理论基础：课程会介绍数据挖掘的基本概念和工具，讲解Spark平台，包括RDD、SparkSQL和SparkStream，以及Spark的机器学习框架MLlib。 7. Scala编程基础：学习Scala的函数式编程概念、数据类型、面向对象编程，以及如何用Scala开发Spark应用。 8. 流数据、图数据处理：涵盖流计算的基本概念、处理流程，介绍流计算框架如Storm，以及图计算模型Pregel的应用。 9. 数据可视化：理解数据可视化的意义，熟悉常用的可视化工具和平台，以及开发数据可视化应用的方法。 10. 综合应用：学员将学习数据分析和预测，图计算，以及数据预处理、存储、查询、可视化分析的全过程。 教学方法结合多媒体课件和案例教学，强调预习、小组讨论和实践操作，以确保学员能全面理解和掌握大数据技术。推荐教材为《大数据技术原理与应用》。 通过这个培训计划，学员不仅可以了解大数据领域的核心技术和工具，还能积累实际操作经验，为今后在物联网等互联网相关领域从事大数据应用工作打下坚实基础。