Hadoop权威指南中文版
本书是您纵情享用数据之美的得力助手。作为处理海量数据集的理想工具，Apache Hadoop架构是MapReduce算法的一种开源应用，是Google(谷歌)开创其帝国的重要基石。本书内容丰富，展示了如何使用Hadoop构建可靠、可伸缩的分布式系统，程序员可从中探索如何分析海量数据集，管理员可以了解如何建立与运行Hadoop集群。. 本书完全通过案例学习来展示如何用Hadoop解决特殊问题，它将帮助您： 使用Hadoop分布式文件系统（HDFS）来存储海量数据集，通过MapReduce对这些数据集运行分布式计算.. 熟悉Hadoop的数据和I/O构件，用于压缩、数据集成、序列化和持久处理 洞悉编写MapReduce实际应用程序时常见陷阱和高级特性 设计、构建和管理专用的Hadoop集群或在云上运行Hadoop 使用Pig这种高级的查询语言来处理大规模数据 利用HBase这个Hadoop数据库来处理结构化和半结构化数据 学习Zookeeper，这是一个用于构建分布式系统的协作原语工具箱 如果您拥有海量数据，无论是GB级还是PB级，Hadoop都是完美的选择。本书是这方面最全面的参考。... 目 录 第1章 初识Hadoop 1 1.1 数据！数据 1 1.2 数据的存储和分析 3 1.3 相较于其他系统 4 …… 第2章 MapReduce简介 15 2.1 一个气象数据集 15 2.2 使用Unix Tools来分析数据 17 2.3 使用Hadoop进行数据分析 19 2.3.1 map和reduce 19 2.3.2 Java MapReduce 20 …… 第3章 Hadoop分布式文件系统 44 3.1 HDFS的设计 44 3.2 HDFS的概念 45 3.2.1 块 45 3.2.2 名称节点与数据节点 47 3.3 命令行接口 48 …… 第4章 Hadoop的I/O 80 4.1 数据完整性 80 4.1.1 HDFS的数据完整性 81 4.1.2 本地文件系统 82 4.1.3 ChecksumFileSystem 82 4.2 压缩 83 …… 第5章 MapReduce应用开发 125 5.1 API的配置 126 5.1.1 合并资源 127 5.1.2 各种扩展形式 128 5.2 配置开发环境 128 …… 第6章 MapReduce的工作原理 166 6.1 运行MapReduce作业 166 6.1.1 提交作业 166 6.1.2 作业的初始化 168 6.1.3 任务的分配 168 6.1.4 任务的执行 169 …… 第7章 MapReduce的类型与格式 188 7.1 MapReduce类型 188 7.2 输入格式 198 7.2.1 输入分片与记录 198 7.2.2 文本输入 210 …… 第8章 MapReduce 特性 227 8.1 计数器 227 8.1.1 内置计数器 227 8.1.2 用户自定义Java计数器 230 8.1.3 用户自定义流计数器 235 8.2 排序 235 …… 第9章 Hadoop集群的安装 264 9.1 集群说明 264 9.2 集群的建立和安装 268 9.2.1 安装Java 268 …… 第10章 Hadoop的管理 293 10.1 HDFS 293 10.1.1 持久化的数据结构 293 10.1.2 安全模式 298 10.1.3 审计日志 300 …… 第11章 Pig简介 321 11.1 安装和运行Pig 322 11.1.1 执行类型 322 11.1.2 运行Pig程序 324 11.1.3 Grunt 324 11.1.4 Pig Latin编辑器 325 11.2 实例 325 …… 第12章 Hbase简介 366 12.1 HBase基础 366 12.2 概念 367 12.2.1 数据模型速览 367 12.2.2 实现 368 …… 第13章 ZooKeeper简介 394 13.1 ZooKeeper的安装和运行 395 13.2 范例 396 13.2.1 ZooKeeper中的组成员制 397 13.2.2 创建组 397 …… 第14章 案例研究 431 14.1 Hadoop在Last.fm的应用 431 14.1.1 Last.fm：社会音乐革命 431 14.1.2 使用Hadoop生成排行榜 432 14.1.3 单曲统计程序 433 14.1.4 小结 440 …… 附录A Apache Hadoop的安装 491 附录B Cloudera的Hadoop分发包 497 附录C 预备NCDC气象资料 502
