没有合适的资源？快使用搜索试试~ 我知道了~

文库首页存储其它hadoop+hbas+hive集群手动搭建手册

hadoop+hbas+hive集群手动搭建手册

hadoop

hbase

hive

5星 · 超过95%的资源需积分: 17 10 下载量 36 浏览量 2014-01-22 16:28:07 上传评论 2 收藏 781KB PDF 举报

温馨提示

试读

24页

本文是继hadoop伪分布式安装文档后，又一篇详细介绍完全分布式安装hadoop的过程，并在此基础上，介绍了如何集成安装hbase和hive的详细步骤。本文真实记录了我安装过程的每个细节，初学者，可按文档一步步轻松完成安装。

资源详情

资源评论

Neusoft

Hadoop 搭建手册

全完分布 v1.0

王俊

2013-1-4

1 / 23

目录 .................................................................................................................................................. 1

环境说明：....................................................................................................................................... 2

修改 hosts........................................................................................................................................ 3

创建用户........................................................................................................................................... 3

设置时钟服务器和客户机： ........................................................................................................... 4

ssh 安装及无密码验证配置 ............................................................................................................ 4

linux 下利用 rsync 实现多服务器文件同步 ............................................................................... 6

安装 jdk............................................................................................................................................ 6

安装 hadoop ...................................................................................................................................... 7

安装 hive........................................................................................................................................ 11

安装 mysql 及与 hive 集成配置 .................................................................................................... 13

安装 hbase ...................................................................................................................................... 19

2 / 23

环境说明：

1. 操作系统：

CentOS 5.4

2. 网络拓扑：

主机名

守护进程

安装软件

master

eth0:192.168.131.171

eth1:192.168.131.173（心

跳 IP）

eth0:0192.168.131.150(虚

拟 IP)

Namenode

Secondary

NameNode

JobTracker

Kerberos

QuorumPeerMain

HMaster

Hadoop

Hive+mysql

Hbase

Zookeeper

Masterbak

eth0:192.168.131.172

eth1:192.168.131.174（心

跳 IP）

eth0:0192.168.131.150(虚

拟 IP)

Namenode

Secondary

NameNode

JobTracker

Kerberos

QuorumPeerMain

HMaster

Hadoop

Hive+mysql

Hbase

Zookeeper

slave1

192.168.131.210

DataNode

TaskTracker

HQuorumPeer、

HRegionServer

Hadoop

Hbase

zookeeper

slave2

192.168.131.117

DataNode

TaskTracker

HQuorumPeer、

HRegionServer

Hadoop

Hbase

zookeeper

nfsSer

Nfs

portmap

Nfs

服务

器

注：IP 以实际规划为准

3. 安装包（32bit）:

lrzsz-0.12.20-22.1.i386.rpm

nfs-utils-1.0.9-42.el5.i386.rpm

portmap-4.0-65.2.2.1.i386.rpm

rsync-3.0.9pre2.tar.gz

jdk-6u26-linux-i586.bin

krb5-auth-dialog-0.7-1.i386.rpm

3 / 23

krb5-libs-1.6.1-36.el5.i386.rpm

krb5-workstation-1.6.1-36.el5.i386.rpm

krb5-devel-1.6.1-36.el5.i386.rpm

krb5-server-1.6.1-36.el5.i386.rpm

pig-0.10.0.tar.gz

hadoop-1.1.0.tar.gz

hive-0.9.0.tar.gz

hbase-0.94.0.tar.gz

MySQL-server-community-5.1.46-1.rhel5.i386.rpm

MySQL-client-community-5.1.46-1.rhel5.i386.rpm

mysql-connector-java-5.1.22-bin.jar

zookeeper-3.4.5.tar.gz

drbd-8.2.5.tar.gz

automake-1.10.1tar.gz

autoconf-2.69.tar.gz

ClusterLabs-resource-agents-v3.9.2-0-ge261943.tar.gz

Heartbeat-3-0-7e3a82377fa8.tar.bz2

Reusable-Cluster-Components-glue--glue-1.0.9.tar.bz2

修改 hosts

1、以 root 身份执行：

2、三台服务都做如下操作：

# vi /etc/hosts

192.168.131.171 master

192.168.131.117 localhost.S-ZF-YJB-117

192.168.131.172 slave1

创建用户

1. 以 root 身份执行：

2. 在所有机器上建立 hadoop/hadoop

#useradd hadoop

#passwd hadoop

hadoop

4 / 23

设置时钟服务器和客户机：

1. 以 root 身份执行：

2. 在 master 主机上，检查 ntp 是否安装：

# rpm -qa|grep ntp

ntp-4.2.2p1-9.el5.centos.2

chkfontpath-1.10.1-1.1

上述说明 ntp 服务已安装，如果没有安装，请从系统光盘中查找并安装。

3. 配置时钟服务器

# vi /etc/ntp.conf

restrict 192.168.131.0 mask 255.255.255.0 nomodify notrap

或

将“restrict default nomodify notrap noquery”这行修改成：

restrict default nomodify notrap

4. 启动服务

启动 ntp 服务

#service ntpd start

开机启动服务

#chkconfig ntpd on

5. 在各个 slave?节点机上，配置客户机同步时间周期

# crontab -e

0 21 * * * ntpdate 192.168.131.200 >> /root/ntpdate.log 2>&1 #每天晚上 9 点进行同步

6. 在各个 slave?节点机上，手工同步

# ntpdate master

14 Dec 09:26:52 ntpdate[23924]: step time server 192.168.131.200 offset

150182.510654 sec

说明：上述表示时间同步完成。

ssh 安装及无密码验证配置

1. 操作权限：root

2. 验证 SSH 是否安装

# which ssh

/usr/bin/ssh

#which sshd

/usr/sbin/sshd

# which ssh-keygen

/usr/bin/ssh-keygen

出现上述情况，说明 SSH 已安装。否则请安装 SSH，安装过程略。

剩余23页未读，继续阅读

评论收藏

内容反馈

spongcer

2014-05-01

搭建集群的时候用得着，谢啦

hadoop+hbas+hive集群手动搭建手册

评论2

最新资源

hadoop+hbas+hive集群手动搭建手册

评论2

最新资源

相关推荐

Hadoop+Hive集群搭建步骤

Hadoop集群搭建及Hive的安装与使用

大数据hadoop分布式集群搭建（Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume）

大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase）

hadoop多数据中心灾备

hadoop2.7+centos7+hive+zookeeper分布式安装

hadoop+hbase+hive集群搭建

hadoop+hbase集群搭建 详细手册

cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】

hadoop高可用集群搭建手册.docx

centOS 6.10 hadoop+spark+hive+HBase集群搭建

Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署

大数据Hadoop+HBase+Spark+Hive集群搭建教程(七月在线)1

Hadoop+Hbase+Spark+Hive搭建

hadoop+zookeeper+hbase+hive集群安装配置

hadoop全套配置详细步骤（基础环境搭建+hadoop集群搭建+hive搭建）

zookeeper+hadoop+hbase+hive(集成hbase)安装部署教程（超详细）.docx

Hadoop+ZooKeeper+HBase+hive(HQL)安装步骤

Spark+hadoop+scala 完全分布式集群搭建过程及启动过程

win10下搭建Hadoop环境（jdk+mysql+hadoop+scala+hive+spark） 3.docx

Centos+Hadoop+Hive+HBase

HADOOP+HBASE+HIVE整合工程和文档

Hadoop+Zookeeper+Hbase+Hive部署.doc

集群环境搭建-Centos+kafka+zookeeper+hadoop+Spark

hive-site.xml

hadoop2.2+hbase0.96+hive0.12安装整合详细高可靠文档及经验总结

hadoop+zookeeper+hbase集群搭建配置说明

hadoop+hbase+zookeeper集群配置流程及文件

hadoop+hbase集群搭建详细手册

cdh5.5.4 集群搭建【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】