大数据技术和应用基础-教学大纲.pdf
版权申诉
43 浏览量
2022-10-31
13:20:00
上传
评论
收藏 257KB PDF 举报
完美 WORD 格式
《大数据技术与应用基础》教学大纲
学 时：60
代 码：
适用专业：
制 定：
审 核：
批 准：
一、课程的地位、性质和任务
大数据技术的发展，已被列为国家重大发展战略。而在过去的几年里，无论是聚焦大数据发展
的《促进大数据发展行动纲要》，还是《“十三五”规划》中都深刻体现了政府对大数据产业和应用
发展的重视。目前国内大数据发展还处于加速期、转型期，数据与传统产业的融合还处于起步阶段，
各行业对大数据分析和挖掘的应用还不理想。但随着市场竞争的加剧，各行业对大数据技术研究的
热情越来越高，在未来几年，各领域的数据分析都将大规模应用。
本课程在注重大数据时代应用环境前提下，考虑大数据处理分析需求多样复杂的基本情况，从
初学者角度出发，以轻量级理论、丰富的实例对比性地介绍大数据常用计算模式的各种系统和工具。
考虑到当前大数据发展处于起步并逐步赶超先进的阶段，其应用领域丰富广泛，在教学过程中应注
重掌握大数据分析的实践操作。本课程通过丰富简单易上手的实例，让学生能够切实体会和掌握各
种类型工具的特点和应用。
二、课程教学基本要求
1. 了解大数据的发展和基本概念，理解并掌握大数据的特征及主要技术层面。
2. 掌握 Scrapy 环境的搭建，了解网络爬虫获取数据的过程，熟悉爬虫项目的创建。
3. 深刻了解 hadoop 的基础理论，理解并掌握 Hadoop 单机及集群环境的部署方法。
4. 掌握 HDFS 的基本概念和 HDFS 在 hadoop 中的作用，理解并识记 HDFS 的使用，了解 HDFS 的
JAVA API 接口及数据流原理；让学生明白 Map 过程与 Reduce 过程这两个独立部分各自的原理及合
作途径，知道如何独立编写满足自己需求的 MapReduce 程序。
5. 理解 HBase 中涉及的基本概念，掌握 HBase 的简单应用；让学生了解数据仓库的基础概念，
熟悉 Hive 与 HDFS、MapReduce 直接的关心。
6. 熟悉 Spark 和 RDD 的基本概念，熟悉 spark 接口的使用，解决实战时的步骤及思路。
7. 明白 Hadoop 和 Storm 之间的差别，掌握对 Storm 的使用。理解 Apex 的工作过程并能简单应
用。
8. 了解 Druid 的基本概念、应用场景以及集群架构，掌握批量数据加载、流数据加载的操作。
了解 Flink 的重要概念和基本架构，掌握 Flink 简单的使用实例。
9. 理解 Elasticsearch 的基本架构，掌握 Elasticsearch 的一些入门操作。了解并基本掌握怎
样利用所学的工具对目标实例进行数据分析。
三、课程的内容
1．大数据概述
专业整理 知识分享
资源评论
