大数据及Hadoop简介.docx_hadoop是什么资源-CSDN文库

需积分: 2 121 浏览量 2023-05-06 10:34:45 上传评论收藏 1.1MB DOCX 举报

资源推荐

资源详情

资源评论

文章目录

一、大数据

1、大数据的定义

2、大数据的特点

3、大数据行业应用

4、Hadoop 与大数据

5、其他大数据处理平台

6、大数据人才

二、什么是 Hadoop

1、Hadoop 简介

2、Hadoop 的发展历史

3、Hadoop 的特点

三、Hadoop 核心

1、分布式文件系统——HDFS

2、分布式计算框架——MapReduce

3、集群资源管理器——YARN

四、Hadoop 常用组件

五、Hadoop 在国内外的应用情况

一、大数据

随着近来计算机技术和互联网的发展，大数据这个名词越来越多地进入到我们

的视野中，大数据的快速发展也无时刻影响着我们的生活。

1、大数据的定义

大数据从字面来理解就是大量的数据。日常生活离不开数据，可以说每时每刻

都在产生着数据。例如，一分钟可以做些什么事呢？在日常生活中，一分钟可能

连一页书都看不完。但是一分钟内产生的数据却是庞大的。据统计，在一分钟内，

YouTube 用户上传 300 小时的新视频，电子邮件用户发送 2.4 亿条信息，Google

收到超过 278 万个搜索查询，Facebook 用户点赞 4166 667 次，消费者在网购

上花费 272070 美元，Twitter 用户发布 347222 条推文，Instagram 用户每分

钟发布 123060 张照片，Netflix 用户观看 77160 个小时的视频，微信红包的收

发 1527777 个。

这些数据还在不停地增长，那么大数据究竟是什么？国际顶级权威咨询机构麦肯

锡说：“大数据指的是所涉及的数据集规模已经超过了传统数据库软件获取、

存储、管理和分析的能力。这是一个被故意设计成的具有主观性的定义，并且是

一个关于多大的数据集才能被认为是大数据的可变定义，即并不定义大于一个特

定数字的 TB 才叫大数据。因为随着技术的不断发展，符合大数据标志的数据集

容量也会增长；并且定义随不同行业也有变化，这也依赖于在一个特定行业通常

使用何种软件和数据集有多大。因此，大数据在今天不同行业中的范围可以从几

十 TB 到几 PB”。

从上面的定义中可以看出：

多大的数据才算大数据，这并没有一个明确的界定，且不同行业有不同的标准。

大数据不仅仅只是大，它还包含了数据集规模已经超过了传统数据库软件获取、

存储、分析和管理能力这一层意思。

大数据不一定永远是大数据，大数据的标准是可变的，在 20 年前 1GB 的数据

也可以叫大数据。可见，随着计算机硬件技术的发展，符合大数据标志的数据集

容量也会增长。

现在所说的大数据实际上更多是从应用的层面，比如某公司搜集、整理了大量的

用户行为信息，然后通过数据分析手段对这些信息进行分析从而得出对公司有利

用价值的结果。比如，头条、热搜的产生，就是建立在对海量用户的阅读信息的

搜集、分析之上。这就是大数据在现实中的具体体现。

2、大数据的特点

IBM 提出大数据具有 5V 特点，分别为：Volume(大量)、Velocity(高速)、Variety(多

样)、Value(低价值密度)、Veracity(真实性)，下面具体说明此 5V 特点。

Volume：巨大的数据量，采集、存储和计算的量都非常大。大数据的起始计量

单位至少是 PB(1000TB)、EB(100 万 TB)或 ZB(10 亿 TB)。

8 bit = 1 Byte 一字节

1024 B = 1 KB （KiloByte）千字节

剩余20页未读，继续阅读

内容反馈

Dawny丶

粉丝: 6
资源: 188

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip