Hadoop课程笔记1
需积分: 0 101 浏览量
2022-08-03
19:21:34
上传
评论 1
收藏 9.68MB PDF 举报
大数据技术解决的是什么问题？
大数据技术解决的主要是海量数据的存储和计算。
Hadoop的广义和狭义之分
狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS：分布式文件系统--》存储；
MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架
广义的Hadoop:广义Hadoop是不仅仅包含Hadoop框架，除了Hadoop框架之外还有一些辅助框
架。Flume：日志数据采集,Sqoop：关系型数据库数据的采集；
Hive:深度依赖Hadoop框架完成计算（sql），Hbase:大数据领域的数据库（mysql）
Sqoop：数据的导出
广义Hadoop指的是一个生态圈。
主要课程内容
第一部分：大数据简介（定义，特点，应用场景，发展趋势，职业发展路线）
第二部分：Hadoop简介（定义，发展历史，重要组成，发行版，版本号变更，优劣势）
第三部分：Hadoop的重要组成（三个重要组成部分进行概述）
第四部分：Apache Hadoop 完全分布式集群搭建
第五部分：HDFS 分布式文件系统
第六部分：MapReduce分布式计算框架
第七部分：Yarn 资源调度框架
第八部分：Hadoop 3.x新特性概述
第一部分 大数据简介
第一节 大数据的定义
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处
理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
第二节 大数据的特点
大数据的特点可以用 IBM 曾经提出的 “5V” 来描述，如下：
大量
采集、存储和计算的数据量都非常大。
计算机存储单位一般用B，KB，MB，GB，TB，PB，EB，ZB，YB，BB、NB、DB来表示，
它们之间的关系是
剩余129页未读，继续阅读
评论0