没有合适的资源?快使用搜索试试~ 我知道了~
HDFS+MapReduce+Hive+HBase十分钟快速入门
需积分: 46 22 下载量 71 浏览量
2012-10-15
13:41:30
上传
评论 1
收藏 517KB PDF 举报
温馨提示
试读
13页
HDFS+MapReduce+Hive+HBase十分钟快速入门,包括这几个部分的简单使用
资源推荐
资源详情
资源评论
HDFS+MapReduce+Hive+HBase 十分钟快速入门
目录
1.前言 ............................................................................................................................................... 1
2.Hadoop 家族 .................................................................................................................................. 2
3.演练环境........................................................................................................................................ 2
3.1. 操作系统........................................................................................................................... 3
3.2. Hadoop ............................................................................................................................... 3
3.3. Hive .................................................................................................................................... 3
3.4. Java ..................................................................................................................................... 3
3.5. 机器 .................................................................................................................................. 3
3.6. 安装列表........................................................................................................................... 4
3.7. 安装路线........................................................................................................................... 4
4.配置 ssh2 和修改/etc/hosts .......................................................................................................... 4
4.1. 配置 ssh2 .......................................................................................................................... 5
4.2.修改/etc/hosts .................................................................................................................... 5
5.安装 Java ........................................................................................................................................ 5
6.安装 Hadoop .................................................................................................................................. 6
7.配置 HDFS ...................................................................................................................................... 6
7.1. 修改 hadoop-env.sh .......................................................................................................... 6
7.2. 修改 core-site.xml ............................................................................................................. 7
7.2.1.hadoop.tmp.dir ........................................................................................................ 7
7.2.2.fs.default.name ........................................................................................................ 7
7.3.修改 masters ............................................................................................................... 8
7.4.修改 slaves .................................................................................................................. 8
7.5.修改 hdfs-site.xml ....................................................................................................... 9
8.配置 MapReduce ........................................................................................................................... 9
8.1.修改 mapred-default.xml............................................................................................ 9
9.安装 Hive ..................................................................................................................................... 10
9.1. 安装 ant .................................................................................................................. 10
9.2. 安装 ivy ................................................................................................................... 10
9.3. 编译 Hive ................................................................................................................ 11
10.安装 HBase ................................................................................................................................ 11
11.体验 ........................................................................................................................................... 12
1.前言
本文的目的是让一个从未接触 Hadoop 的人,在很短的时间内快速上手,掌握编译、安装和
简单的使用。
2.Hadoop 家族
整个 Hadoop 家族由以下几个子项目组成:
成员名 用途
Hadoop Common Hadoop 体系最底层的一个模块,为 Hadoop 各子项目提供各种工具,如:
配置文件和日志操作等。
Avro Avro 是 doug cutting 主持的 RPC 项目,有点类似 Google 的 protobuf 和 Facebook 的 thrift。
avro 用来做以后 hadoop 的 RPC,使 hadoop 的 RPC 模块通信速度更快、数据结构更紧凑。
Chukwa Chukwa 是基于 Hadoop 的大集群监控系统,由 yahoo 贡献。
HBase 基于 Hadoop Distributed File System,是一个开源的,基于列存储模型的分布式数据库。
HDFS 分布式文件系统
Hive hive 类似 CloudBase,也是基于 hadoop 分布式计算平台上的提供 data warehouse 的 sql
功能的一套软件。使得存储在 hadoop 里面的海量数据的汇总,即席查询简单化。hive 提供
了一套 QL 的查询语言,以 sql 为基础,使用起来很方便。
MapReduce 实现了 MapReduce 编程框架
Pig Pig 是 SQL-like 语言,是在 MapReduce 上构建的一种高级查询语言,把一些运算编译进
MapReduce 模型的 Map 和 Reduce 中,并且用户可以定义自己的功能。Yahoo 网格运算部门
开发的又一个克隆 Google 的项目 Sawzall。
ZooKeeper Zookeeper 是 Google 的 Chubby 一个开源的实现。它是一个针对大型分布式系统
的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组服务等。ZooKeeper
的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统
提供给用户。
3.演练环境
3.1. 操作系统
SuSE10,Linux2.6.16,32 位版本。
3.2. Hadoop
Hive 通过 SVN 直接从网上下载原代码,其它采用 hadoop-0.20.0.tar.gz 二进制安装包,所以
只需要编译 Hive。
另外,请注意不要下载 2009-8-19 号的 Hive,2009-8-19 提交的 Hive 版本在 hadoop-0.20.0.tar.gz
上编译通不过,原因是:
Hive 源代码根目录\ql\src\java\org\apache\hadoop\hive\ql\exec\FileSinkOperator.java 文件中
多了一行:
import org.apache.hadoop.io.compress.LzoCodec;
而应当下载 2009-8-4 号和 2009-8-19 之间的版本,或 2009-8-19 之后的版本。
3.3. Hive
在 0.20.0 版本的 Hadoop 二进制安装包中,并没有集成 Hive,所以 Hive 需要自己编译,编
译时需要使用到 ant 和 ivy 两个工具,而且依赖于 Hadoop。
3.4. Java
运行 Hadoop 和编译 Hive,都需要使用到 Java,所以需要第一个安装的是 Java。
3.5. 机器
演练时,在 3 台机器上搭建 Hadoop 集群,假设这 3 台机器如下表所示:
机器名 机器 IP 用途
剩余12页未读,继续阅读
资源评论
天宇天奇
- 粉丝: 0
- 资源: 6
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功