没有合适的资源？快使用搜索试试~ 我知道了~

文库首页行业研究行业报告通用大数据存储和分析处理平台-Hadoop.docx

通用大数据存储和分析处理平台-Hadoop.docx

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

0 下载量 185 浏览量 2022-11-11 20:35:12 上传评论收藏 1.21MB DOCX 举报

温馨提示

试读

177页

。。。

资源推荐

资源详情

资源评论

通用大数据存储与分析处理平台

总体建设方案

(Hadoop)

1Hadoop1

1.1 概述 1

Hadoop 能做什么 1

1.2 特点 1

1.3 软件设计 1

Hadoop 中的文件格式 1

机架感知 8

1.4Hadoop 知识学习篇 9

RPC 错误!未定义书签。

Avro、Thrift 错误!未定义书签。

Java 接口 9

FileSystem 总结 1

文件读取过程/文件写入过程 2

Hadoop 均衡器 1

Hadoop 存档 1

数据完整性 1

压缩 1

序列化【优点】1

序列化框架 4

MapReduce 过程中的序列化与反序列化 19

√HDFS 数据结构 24

MapReduce 框架 24

MapReduce 工作机制 36

推测执行【优点】36

重用 JVM【优化】36

IDS36

输入格式 36

输出格式 9

I / 177

计数器 11

√排序技术 14

√连接 23

DistributedCache26

√作业链接 29

√默认的 MapReduce 作业 30

集群规范 30

网络拓扑[优点]30

环境设置 33

守护进程的关键属性 33

安全性 33

安全模式 33

fsck 工具 33

日常维护 35

1.5Hadoop 知识总结篇 35

Hadoop 通信协议总结 35

通过日志掌握 Hadoop 运行过程（HDFS/MAPREDUCE）1

MapReduce 配置调优 1

MapReduce 过程配置 1

1.6 应用程序运行 JOB2

1.7Hadoop 源码篇 2

2Accumulo2

3 海量数据查询支撑分系统 2

3.1Dremel2

概述 2

软件设计 3

一句话总结 5

3.2Drill5

概述 5

3.3Tez6

3.4Impala***9

3.5Tajo***9

3.6 序列化框架与 RPC9

Avro9

Protocol9

Thrift9

II / 177

3.7 缓存 9

4 算法研究*****10

4.1BloomFilter10

集合表示和元素查询 10

错误率估计 11

最优的哈希函数个数 11

位数组的大小 12

总结 12

4.2Bit Map（BitSet）13

Bit Map 的基本思想 13

Map 映射表 14

位移转换 14

扩展 17

Bit-Map 的应用 17

Bit-Map 的具体实现 17

4.3 哈希算法 23

4.4 二叉树 34

4.5 堆与堆排序 34

4.6 双层桶划分 38

4.7trie 树 39

4.8 外排序 44

5 海量数据处理思路 47

5.1Bloom filter60

5.2Hashing61

5.3bit-map62

5.4 堆 62

5.5 双层桶划分 63

5.6 数据库索引 63

5.7 倒排索引(Inverted index)64

5.8 外排序 64

5.9trie 树 65

6 经典博文 66

从 Hadoop 框架与 MapReduce 模式中谈海量数据处理 66

前言 66

第一部分、mapreduce 模式与 hadoop 框架深入浅出 67

架构扼要 67

III / 177

Mapreduce 模式 67

Hadoop 框架 68

Hadoop 的组成部分 69

第二部分、淘宝海量数据产品技术架构解读—学习海量数据处理经验 70

淘宝海量数据产品技术架构 70

mapreduce 的二次排序 SecondarySort73

IV / 177

1 Hadoop

1.1 概述

1.1.1 Hadoop 能做什么

1、搜索引擎（Doug Cutting 设计 Hadoop 的初衷，为了针对大规模的网页快

速建立索引）。

2、大数据存储，利用 Hadoop 的分布式存储能力，例如数据备份、数据仓库等。

3、大数据处理，利用 Hadoop 的分布式处理能力，例如数据挖掘、数据分析等。

4、科学研究，Hadoop 是一种分布式的开源框架，对于分布式计算有很大程度

地参考价值。

➢ 大数据存储

➢ 海量数据批量处理：

 排序、连接

 ETL（去重、转化）

 数据挖掘

 日志处理

 用户细分特征建模

 个性化广告推荐

 智能仪器推荐

1.2 特点

1.高可靠性。Hadoop 按位存储和处理数据的能力值得人们信赖。

2.高扩展性。Hadoop 是在可用的计算机集簇间分配数据并完成计算任务的，

这些集簇可以方便地扩展到数以千计的节点中。

3.高效性。Hadoop 能够在节点之间动态地移动数据，并保证各个节点的动态

平衡，因此处理速度非常快。

4.高容错性。Hadoop 能够自动保存数据的多个副本，并且能够自动将失败的

任务重新分配。

5.低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite 等数据

集市相比，hadoop 是开源的，项目的软件成本因此会大大降低。

1.3 软件设计

1.3.1 Hadoop 中的文件格式

SequenceFile

SequenceFile是 Hadoop API 提供的一种二进制文件，它将数据以<key,value>

的形式序列化到文件中。这种二进制文件内部使用 Hadoop 的标准的 Writable 接

1 / 177

剩余176页未读，继续阅读

评论收藏

内容反馈

1.该资源内容由用户上传，如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款（资源遇到问题，请及时私信上传者）

版权申诉

资源评论

资源反馈

评论星级较低，若资源使用遇到问题可联系上传者，3个工作日内问题未解决可申请退款~

春哥111

粉丝: 1w+
资源: 5万+

上传资源快速赚钱

我的内容管理展开

我的资源快来上传第一个资源

我的收益

登录查看自己的收益

我的积分登录查看自己的积分

我的C币登录后查看C币余额

我的收藏

我的下载

下载帮助

前往需求广场，查看用户热搜

通用大数据存储和分析处理平台-Hadoop.docx

通用大数据存储与分析处理平台_Hadoop.docx

基于Hadoop的统一数据存储和分析平台

通用大数据存储和分析处理平台-Hadoop.pdf

大数据Hadoop平台下数据存储的实现.docx

spark-3.1.3-bin-without-hadoop.tgz

spark-3.0.0-bin-without-hadoop.tgz

spark-2.4.5-bin-without-hadoop.tgz (关注“吾说”（作者）一起学习大数据.rar)

spark-2.1.0-bin-without-hadoop.tgz

Apache Hadoop---HBase.docx

Hadoop权威指南 大数据的存储与分析-第4版

大数据平台MPP与Hadoop架构分析.docx

Hadoop大数据平台-集成实施方案.docx

大数据离线分析项目(Hadoop).docx

flink-shaded-hadoop-3-uber-3.1.1.7.2.9.0-173-9.0.jar

spark-3.1.2.tgz & spark-3.1.2-bin-hadoop2.7.tgz.rar

大数据平台技术实施与运维规范-Hadoop 分册.docx

大数据技术基础-安装-hadoop-过程.docx

Hadoop大数据的历史与发展趋势分析.docx

pentaho-hadoop-shims-cdh58-package-70.2016.10.00-25-dist.zip

hadoop大数据培训零基础学习hadoop-北京尚学堂.docx

hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载

03-Hadoop-MapReduce.docx

pentaho-hadoop-shims-cdh514-package-8.3.2019.05.00-371-dist.zip

最新资源

Hadoop权威指南大数据的存储与分析-第4版