没有合适的资源?快使用搜索试试~ 我知道了~
《Hadoop大数据技术与应用》教学大纲 - 20180823.pdf
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 90 浏览量
2022-10-30
23:28:16
上传
评论
收藏 819KB PDF 举报
温馨提示
试读
23页
互联网
资源推荐
资源详情
资源评论
Hadoop 大数据技术与应用
(含实验)
(1104201510)
教 学 大 纲
(2018 版)
曙光瑞翼教育合作中心
2018 年 8 月
前 言
一、大纲编写依据
《Hadoop 大数据技术与应用》是数据科学、大数据方向本科生的一门必修课。通过该
课程的学习,使学生系统的学习当前广泛使用的大数据Hadoop 平台及其主要组件的作用及
使用。课程由理论及实践两部分组成,课程理论部分的内容以介绍Hadoop 平台主要组件的
作用、结构、工作流程为主,让学生对Hadoop 平台组件的作用及其工作原理有比较深入的
了解;课程同时为各组件设计有若干实验,帮助学生在学习理论知识的同时,提高学生的实
践能力,系统的掌握 Hadoop 主要组件的原理及应用,为其他相关课程的学习提供必要的帮
助。
二、课程目的
1、知识目标
学习 Hadoop 平台框架,学会手动搭建 Hadoop 环境,掌握 Hadoop 平台上存储及计算的
原理、结构、工作流程,掌握基础的MapReduce 编程,掌握Hadoop 生态圈常用组件的作用、
结构、配置和工作流程,并具备一定的动手及问题分析能力,使用掌握的知识应用到实际的
项目实践中。
2、能力目标
(1) 工程师思维方式
通过本课程的学习,引导学生养成工程师逻辑思维、系统思维的思维方式及习惯。
(2) 分析及解决问题的能力
课程中实验由浅及深,有一定的步骤及难度,操作不当可能会遇到问题;遇到问题时老
师会给出引导,但不会直接告诉解决方法,因此,如何分析、分析完成后实施具体的解决步
骤,都需要学生摸索完成,在这个摸索实践过程中,学生的分析及解决问题的能力得到培养。
三、教学方法
1、课堂教学
(1) 讲授
本课程的理论教学内容以讲授为主、辅以操作演示,讲授的主要内容有:Hadoop 概述,
Hadoop 安装部署,分布式文件系统 HDFS,分布式计算 MapReduce,资源管理调度组件 YARN,
列式存储 HBase,数据仓库组件 Hive,数据分析引擎 Pig,日志采集组件 Flume,数据迁移
组件 Sqoop,集群管理组件 Ambari,分布式应用程序协调组件Zookeeper,集成的可扩展的
机器学习算法库 Mahout。根据教学大纲的要求,突出重点和难点。
(2) 实践
实践课程由若干实验组成,每个实验都包含实验目的、实验原理、实验环境等,需要学
生结合理论知识,充分发挥自主学习的能力来完成实验,老师在这个过程中更多起到辅导的
作用。
(3) 其它教学方法
采用多媒体辅助教学手段、提供实验相关视频,结合传统教学方法,解决好教学内容多、
信息量大与学时少的矛盾;充分利用教学实验系统 EDU 资源和学校的图书馆的资源优势,查
阅与课程相关的资料;通过辅导学生完成实验来提高学生的综合处理问题的能力和软件开发
的能力。
2、课外学习
(1) 课外练习。
(2) 上机实验报告。
四、适用对象
数据科学与大数据技术、计算机科学与技术、软件工程、信息安全、信息管理、网络、
数学、统计学专业。
五、先修课程及后续课程(或相关课程)
(一)先修课程:《高级语言程序设计(Java)》、《Linux》、《大数据导论》、《数
据库原理》;
(二)后续课程:《数据挖掘》、《Spark 大数据技术与应用》。
六、课程性质
必修。
七、总课时及各章的分配
授课总课时数为 64 学时,各章的学时具体安排如下:
章 节
第一章
第二章
第三章
第四章
第五章
第六章
第七章
第八章
第九章
第十章
第十一章
总结
合计
(一)选用教材
教 学 内 容
初识 Hadoop 大数据技术
Hadoop 环境设置
HDFS(重点章节)
YARN
MapReduce(重点章节)
HBase、Hive、Pig(重点章节)
Flume
Sqoop
ZooKeeper
Ambari
Mahout
课程总结、综合实验
理论学时
2
2
6
2
6
8
1
1
3
1
0
0
32
实验学时
0
4
8
0
8
8
1
1
2
0
0
0
32
合计
2
6
14
2
14
16
2
2
5
1
0
0
64
八、使用教材及主要参考书目
自编教材:《Hadoop 大数据技术与应用》
(二)主要参考书目
1.Tom White:《Hadoop 权威指南:大数据的存储与分析(第 4 版)》,清华大学出版
社,2017 年 7 月。
2.林子雨:《大数据技术原理与应用:概念、存储、处理、分析与应用(第 2 版)》,人
民邮电出版社,2017 年 1 月。
九、考核方式及成绩评定标准
1、考核内容与形式
(1) 知识类考核
本课程采用闭卷考试形式。重点考试内容:HDFS、MapReduce、HBase、Hive、Pig、Flume、
Sqoop 等组件的使用方法。
(2) 能力类考核
利用学生平时作业、课堂提问与讨论考查学生的学习能力,理解和掌握相关知识的程度
以及实际应用能力。
通过实验考查学生的实践动手能力、软件开发能力,促进学生自主性学习和研究性学习,
启迪学生的创新思维。
2、课程成绩构成
(1) 平时成绩占百分比
平时成绩(包括平时考勤、作业情况和上机实验情况)占总分 40%;
(2) 考试成绩占百分比
期末考试成绩占总分 60%
第一章 初识 Hadoop 大数据技术
第一节 大数据概述
了解什么是大数据、大数据简史、大数据的类型和特征、大数据对于企业带来的挑战。
第二节 大数据相关问题的解决方法(本章重点)
了解对于大数据问题,传统方法、Google 的解决方案、Hadoop 框架下的解决方案,重
点了解 Google 的三篇论文。
第三节 Hadoop 概述(本章重点)
了解 Hadoop 核心构成、Hadoop 生态系统的主要组件、Hadoop 发行版本的差异及如何选
择。
第四节 Hadoop 应用案例
了解 Hadoop 典型应用场景。
第二章 Hadoop 环境设置
第一节 安装前准备
了解 Hadoop 环境搭建前所需做的准备工作。
第二节 Hadoop 模式(本章重点)
逐一介绍 Hadoop 的三种模式:单机、伪分布式和完全分布式。
第三章 HDFS(重点章节)
第一节 HDFS 简介
掌握 HDFS 组件的作用、优缺点。
第二节 HDFS 组成与架构(本章重点)
掌握 HDFS 的组成与架构:NameNode、DataNode、SecondaryNameNode 等,掌握工作流
程。
第三节 HDFS 工作机制(本章重点、难点)
掌握机架感应、HDFS 文件读取写入流程、掌握 HDFS 数据容错相关处理机制。
第四节 HDFS 操作(本章重点、难点)
从 Web 访问、HDFS Shell、HDFS API 三个方面掌握 HDFS 操作。
第五节 HDFS 高级功能
了解 HDFS 高级功能,包括:安全模式、回收站、快照、配额。
第四章 YARN
第一节 YARN 简介
了解 YARN 的作用,了解 YARN 出现的原因,以帮助下一节对 YARN 的结构有更好的
理解。
第二节 YARN 架构(本章难点)
剩余22页未读,继续阅读
资源评论
春哥111
- 粉丝: 1w+
- 资源: 5万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功