大数据技术与应用基础-教学大纲.pdf

《大数据技术与应用基础》是一门针对初学者设计的课程，旨在培养学生对大数据技术的理解和实践能力。课程围绕大数据的产生、发展、特征和技术层面展开，涵盖了数据获取、Hadoop基础、分布式数据库、数据仓库工具、实时处理系统等多个重要方面。 课程首先要求学生了解大数据的起源、发展和核心特性，包括大数据的海量性、多样性、高速性和价值密度低等特点。在数据获取环节，课程介绍了Scrapy框架，让学生掌握网络爬虫的搭建和数据抓取技术，以便从互联网中获取所需数据。 接着，课程深入到Hadoop的世界，讲解Hadoop的单机和集群部署，以及HDFS（Hadoop Distributed File System）的基础知识，使学生能够理解和操作HDFS，包括数据流原理和JAVA API接口。MapReduce作为Hadoop的核心计算模型，课程要求学生理解Map和Reduce过程，学会编写MapReduce程序。 课程进一步涉及分布式数据库HBase，让学生掌握其基本概念和API使用，以及数据仓库工具Hive的原理和实践应用。Spark作为快速、通用的大数据处理框架，课程介绍了RDD（Resilient Distributed Datasets）的概念，以及Spark编程接口的运用。此外，课程还涵盖了实时处理系统Storm和Apex，让学生了解它们的工作原理和应用场景。 在流数据处理方面，课程介绍了Druid和Flink。Druid适合于OLAP（在线分析处理），学生需要掌握其基本架构和数据加载操作；Flink则是一个流处理引擎，课程要求学生理解其核心概念和基本架构，能够设置Flink环境。 课程涉及了分布式文件搜索系统Elasticsearch，帮助学生理解其基本架构，学习基本的搜索和数据分析操作。 这门课程全面覆盖了大数据技术的基础和应用，通过实例教学，使学生能够在理论与实践中掌握大数据分析的关键技术和工具，为他们在未来的数据驱动行业竞争中打下坚实基础。