没有合适的资源?快使用搜索试试~ 我知道了~
Hadoop技术内幕:深入解析YARN架构设计与实现原理1
需积分: 0 1 下载量 43 浏览量
2022-08-04
11:28:07
上传
评论
收藏 18.93MB PDF 举报
温馨提示
试读
393页
前言第一部分 准备篇第 1 章 环境准备 21.1 准备学习环境 21.1.1 基础软件下载 21.1.2 如何准备 Linux 环境31.3 搭建 Hadoo
资源详情
资源评论
资源推荐
大数据技术丛书
Hadoop 技术内幕
深入解析 YARN 架构设计与实现原理
董西成 著
图书在版编目
(
CIP
)
数据
Hadoop 技 术内 幕 :深 入 解 析 YARN 架 构 设 计与 实 现 原理 / 董 西 成著 . —北 京 :机械工 业 出 版社,
2013.12
(大数据技术丛书)
ISBN 978-7-111-44534-0
Ⅰ . H… Ⅱ . 董… Ⅲ . 数据处理软件 Ⅳ . TP274
中国版本图书馆 CIP 数据核字(2013)第 252913 号
版权所有 • 侵权必究
封底无防伪标均为盗版
本书法律顾问 北京市展达律师事务所
本书是“Hadoop 技术内幕”系列的第 3 本书,前面两本分别对 Common、HDFS 和 MapReduce 进
行了深入分析和讲解,赢得了极好的口碑,Hadoop 领域几乎人手一册,本书则对 YARN 展开了深入的
探讨,是首部关于 YARN 的专著。仍然由资深 Hadoop 技术专家董西成执笔,根据最新的 Hadoop 2.0
版本撰写,权威社区 ChinaHadoop 鼎力推荐。
本书从应用角度系统讲解了 YARN 的基本库和组件用法、应用程序设计方法、YARN 上流行的各
种计算框架(MapReduce、Tez、Storm、Spark),以及多个类 YARN 的开源资源管理系统(Corona 和
Mesos);从源代码角度深入分析 YARN 的设计理念与基本架构、各个组件的实现原理,以及各种计算
框架的实现细节。
全书共四部分 13 章:第一部分(第 1~2 章)主要介绍了如何获取、阅读和调试 Hadoop 的源代码,
以及 YARN 的设计思想、基本架构和工作流程 ;第二部分(第 3~7 章)结合源代码详细剖析和讲解了
YARN 的第三方开源库、底层通信库、服务库、事件库的基本使用和实现细节,详细讲解了 YARN 的
应用程序设计方法,深入讲解和分析了 ResourceManager、资源调度器、NodeManager 等组件的实现细
节;第三篇(第 8~10 章)则对离线计算框架 MapReduce、DAG 计算框架 Tez、实时计算框架 Storm 和
内存计算框架 Spark 进行了详细的讲解 ;第四部分(第 11~13 章)首先对 Facebook Corona 和 Apache
Mesos 进行了 深入讲解,然 后对 YARN 的 发展趋势 进行了展 望。附录部分 收录了 YARN 安装指南、
YARN 配置参数以及 Hadoop Shell 命令等非常有用的资料。
机械工业出版社(北京市西城区百万庄大街 22 号 邮政编码 100037)
责任编辑:孙海亮 罗词亮
印刷
2014 年 1 月第 1 版第 1 次印刷
186mm×240 mm • 24.75 印张
标准书号:ISBN 978-7-111-44534-0
定 价:69.00 元
凡购本书,如有缺页、倒页、脱页,由本社发行部调换
客服热线:(010)88378991 88361066 投稿热线:(010)88379604
购书热线:(010)68326294 88379649 689952
59 读者信箱:hzjsj@hzbook.com
前 言
为什么要写这本书
在互联网巨头的带动下,开源软件 Hadoop 的应用变得越来越广泛,目前互联网、金
融、银行、零售等行业均在使用或者尝试使用 Hadoop。IDC 对未来几年中国的预测中就专
门提到了大数据,其认为未来几年,会有越来越多的企业级用户试水大数据平台和应用,
而这之中,Hadoop 将成为最耀眼的“明星”。
尽管 Hadoop 整个生态系统是开源的,但由于它包含的软件种类过多,且版本升级过
快,大部分公司,尤其是一些中小型公司,难以在有限的时间内快速掌握 Hadoop 蕴含的价
值。此外,Hadoop 自身版本的多样化也给很多研发人员带来了很大的学习负担,尽管当前
市面上已有很多参考书籍,但遗憾的是,能够深入剖析 Hadoop 内部实现细节的书籍少之又
少,而本书则尝试弥补这一缺憾。本书是笔者继《Hadoop 技术内幕 :深入解析 MapReduce
架构设计与实现原理》之后的又一本剖析 Hadoop 内幕的书籍。
本书介绍的 YARN(Yet Another Resource Negotiator)系统是 Hadoop 2.0 新增加的一
个子项目(与 Common、MapReduce 和 HDFS 三个分支并列),它的引入使得分布式计算系
统进入平台化时代,即各种计算框架可以运行在一个集群中,由资源管理系统进行统一管
理和调度,它们共享整个集群中的资源进而提高资源利用率。
本 书 以 Hadoop 2.0 为 基 础, 从 基 本 概 念、 程 序 设 计 和 内 部 实 现 等 方 面 深 入 剖 析
了 Hadoop YARN。 本 书 重 点 分 析 了 YARN 的 核 心 实 现 以 及 运 行 在 YARN 上 的 计 算 框
IV
架,其中,核心实现包括基础库、编程接口、ResourceManager 实现、资源调度器实现、
NodeManager 实现等,而计算框架则包括离线计算框架 MapReduce、DAG 计算框架 Tez、
实时计算框架 Storm 和内存计算框架 Spark 等。书中不仅详细介绍了 YARN 各个组件和计
算框架的内部实现原理,而且结合源代码进行了深入剖析,使读者可以快速、全面地学习
Hadoop YARN 设计原理和实现细节。
读者对象
(1)Hadoop 二次开发人员
由于在扩展性、容错性和稳定性等方面的诸多优点,Hadoop 已被越来越多公司采用,
而为了减少开发成本,大部分公司在 Hadoop 基础上进行二次开发,以打造属于公司内部
的 Hadoop 平 台。对于 这部分 Hadoop 二次开发 人员,深 入而又 全面地 了解 Hadoop 的 设
计与实现细节是修改 Hadoop 内核的前提,而本书可帮助这部分读者快速而又全面地了解
Hadoop 实现细节。
(2)Hadoop 应用开发人员
如果要利用 Hadoop 进行高级应用开发,仅掌握 Hadoop 基本使用方法是远远不够的,
必须对 Hadoop 框架的设计原理、架构和运作机制有一定的了解。对这部分读者而言,本书
将带领他们全面了解 Hadoop 的设计和实现,加深对 Hadoop 框架的理解,提高开发水平,
从而编写出更加高效的应用程序。
(3)Hadoop 运维工程师
对于一名合格的 Hadoop 运维工程师而言,适当地了解 Hadoop 框架的设计原理、架构
和运作机制是十分有帮助的,这不仅可以更快地排除各种可能的 Hadoop 故障,也能够让
Hadoop 运维人员与研发人员进行更有效地沟通。通过阅读本书,Hadoop 运维人员可以了
解到很多从其他书中无法获取的 Hadoop 实现细节。
(4)开源软件爱好者
Hadoop 是开源软件中的佼佼者,它在实现的过程中吸收了很多开源领域的优秀思想,
同时也有很多值得学习的创新。尤为值得一提的是,本书分析 Hadoop 设计和实现的方式也
许值得所有开源软件爱好者进行学习和借鉴。通过阅读本书,这部分读者不仅能领略到开
源软件的优秀思想,还可以掌握分析开源软件源代码的方法和技巧,从而进一步提高使用
开源软件的效率和质量。
如何阅读本书
本书分为四大部分(不包括附录):
第一部分为基础篇(第 1 ~ 2 章),简单地介绍 Hadoop YARN 的环境搭建和基本设计
架构,帮助读者了解一些基础背景知识。
剩余392页未读,继续阅读
Jaihwoe
- 粉丝: 18
- 资源: 350
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 历届(第1-21届)希望杯数学竞赛初一试题及答案(最新整理).doc全国数学邀请赛(264页资料)
- 水滴.psd
- TokenPocket_V2.1.2_release.apk
- Apache-druid-kafka-rce.yaml
- 半导体行业词汇 相关缩写
- 基于C#的ASP.NET数据库原理及应用技术课程指导平台的开发
- 基于ROS的智能车轨迹跟踪算法的仿真与设计源码运用PID跟踪算法.zip.zip
- Bug Bounty Tip - i春秋Self-XSS变废为宝的奇思妙想
- 1991-2015年全国初中化学竞赛复赛试题汇编(212页)(24年竞赛复赛真题).docx天原杯
- Apache Flink 未授权访问+远程代码执行.pdf
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0