Impala-Kudu-HBase-Spark安装文档

Impala-Kudu 安装文档

目录

1. 准备工作：系统环境搭建 ......................................................................................................2

1.1. 设置 ssh 无密码登陆（server 端到所有节点）.........................................................2

1.2. 关闭防火墙和 SELinux .................................................................................................2

1.4 所有节点配置 NTP 服务...................................................................................................3

2. 安装 jdk ....................................................................................................................................3

3. 安装原生 hadoop 2.6.0 ............................................................................................................4

4. server 节点安装 mysql5.6........................................................................................................7

5.4. 修改配置文件 ..............................................................................................................9

5.4.1. 修改 hive-site.xml 配置文件 ............................................................................9

5.4.2. 修改 hive-log4j.properties 配置文件 .............................................................10

5.4.3. 修改 hive-env.sh 配置文件 ............................................................................11

5.5. 将 mysql 的驱动放置到 hive 的 lib 下 ......................................................................11

5.6. 在 mysql 中创建 hive 用户及数据库 ........................................................................11

5.7. 替换 jline 的 jar 包 .....................................................................................................11

5.8. 启动 hive ....................................................................................................................12

6. 安装和配置 kudu、impala ....................................................................................................12

6.1. 安装 kudu、impala ....................................................................................................12

6.2.2. 配置并启动 impala.........................................................................................22

1. 准备工作：系统环境搭建

这里以 3 台机器（centos 6.5）为示例安装，

172.16.22.53

172.16.22.54

172.16.22.55

其中 172.16.22.53 节点安装 kudu-master。

以下操作均用 root 用户操作。

1.1. 配置 hosts 文件

执行命令 vi /etc/hosts 打开 hosts 文件，在此文件中追加如下内容

用 ssh-copy-id 把公钥复制到远程主机上（注意本机也要复制）

例如 cdr-yl-01 主机到其它 3 节点设置无密码登录

ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.22.53

ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.22.54

ssh-copy-id -i ~/.ssh/id_rsa.pub root@172.16.22.55

1.3. 关闭防火墙和 SELinux

关闭防火墙：

service iptables stop （临时关闭）

chkconfig iptables off （重启后生效）

关闭 SELINUX：

下：

master(172.16.22.53)节点作为 ntp 服务器与外界对时中心同步时间。

这里选择 172.16.22.53 节点为时钟同步服务器，其他节点为客户端同步时间到该节点。

1) 安装 ntp:

yum -y install ntp

2) 修改 172.16.22.53 上的配置文件:

执行 vi /etc/ntp.conf ，加入如下内容（绿色注释部分不要加入）

restrict default ignore #默认不允许修改或者查询 ntp,并且不接收特殊封包

restrict 127.0.0.1 #给于本机所有权限

restrict 172.16.22.0 mask 255.255.255.0 notrap nomodify #给于局域网机的机器有同步时

执行 vi /etc/ntp.conf 加入如下内容

server 172.16.22.53 prefer

driftfile /var/lib/ntp/drift

fudge 127.127.1.0 stratum 10

4) 启动 ntp, 所有节点执行一下命令

service ntpd start

chkconfig ntpd on

2. 安装 jdk

下载 rpm 包

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

tar -xzvf hadoop-2.6.0.tar.gz -C /usr/lib/

将 tar 包解压到指定位置

3) 进入解压到配置文件的目录，修改配置文件

cd /usr/lib/hadoop-2.6.0/etc/hadoop

a. 修改 hadoop-env.sh

在此文件的末尾加入

export JAVA_HOME=/usr/java/jdk1.8.0_144

注意：jdk 所在路径以及 SSH 端口号需视自己的环境而定，

如果 ssh 端口号不为 22，则需要加入以下参数（端口号视自己环境而定）：

export HADOOP_SSH_OPTS="-p 49622"

<!-路径视环境而定，一定要配置 系统默认的缓存文件夹在每次重启后会被删除-->

<value>/data/hadoop/tmp</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://172.16.22.53:9000</value>

d. 修改 hdfs-site.xml，在<configuration>标签间加入如下内容

<property>

<property>

</property>

e. 修改 mapred-site.xml, 在<configuration>标签间加入如下内容

<property>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>172.16.22.53:19888</value>

</property>

<property>

<name>yarn.app.mapreduce.am.staging-dir</name>

<value>/history</value>

</property>

<property>