hive3资源包+安装文档

环境准备： 1.Linux基础环境准备 集群时间同步、防火墙关闭、主机Host映射、免密登录、JDK安装 2.Hadoop安装配置 Hive是一款基于Hadoop的数据仓库软件，通常部署运行在Linux系统之上。 因此不管使用何种方式配置Hive Metastore，必须要先保证服务器的基础环境正常，Hadoop集群健康可用 3.Hadoop集群健康可用 启动Hive之前必须先启动Hadoop集群。特别要注意，需等待HDFS安全模式关闭之后再启动运行Hive。 Hive不是分布式安装运行的软件，其分布式的特性主要借由Hadoop完成。包括分布式存储、分布式计算。 4.Hadoop与Hive整合 因为Hive需要把数据存储在HDFS上，并且通过MapReduce作为执行引擎处理数据； 因此需要在Hadoop中添加相关配置属性，以满足Hive在Hadoop上运行。 修改Hadoop中core-site.xml，并且Hadoop集群同步配置文件，重启生效。 <!-- 配置hadoop的代理用户，主要是用于让hiveserver2客户端访问及操作hadoop文件具备权限 --> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <!-- 配置hadoop的代理用户组，主要是用于让hiveserver2客户端访问及操作hadoop文件具备权限 --> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> =========================================================================================================== ==========================================内嵌模式安装====================================================== =========================================================================================================== 1.上传解压安装包 cd /opt/apps/ tar zxvf apache-hive-3.1.2-bin.tar.gz ln -s apache-hive-3.1.2-bin hive 2.解决hadoop、hive之间guava版本差异 rm -rf /opt/apps/hive/lib/guava-19.0.jar cp /opt/apps/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/apps/hive/lib/ 3.修改hive环境变量文件 添加Hadoop_HOME（由于在/etc/profile中配置了hadoop所有本步骤可以省略） cd /opt/apps/hive/conf/ mv hive-env.sh.template hive-env.sh vi hive-env.sh export HADOOP_HOME=/opt/apps/hadoop export HIVE_CONF_DIR=/opt/apps/hive/conf export HIVE_AUX_JARS_PATH=/opt/apps/hive/lib 4.配置环境变量 vi /etc/profile export HIVE_HOME=/opt/apps/hive export PATH=$PATH:$HIVE_HOME/bin source /etc/profile 4.初始化metadata schematool -dbType derby -initSchema 5.启动hive服务 hive =========================================================================================================== ==========================================本地模式安装===================================================== =========================================================================================================== 一，安装MySQL 1.下载并安装MySQL官方的 Yum Repository，大概25KB的样子: yum install -y wget wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm 2.yum安装mysql yum repository: yum -y install mysql57-community-release-el7-10.noarch.rpm 3.开始安装MySQL服务器: yum -y install mysql-community-server 4.设置开机启动: systemctl enable mysqld 5.启动mysql: systemctl start mysqld 6.查看默认密码： grep "password" /var/log/mysqld.log 7.使用默认密码登录： mysql -uroot -p默认密码 8.登录后执行以下命令进行登录密码修改和客户端权限修改 8.1更改登录密码 set global validate_password_policy=0; set global validate_password_length=1; set password for 'root'@'localhost'=password('root'); 8.2 更改客户端登录权限 grant all privileges on *.* to 'root'@'%' identified by 'root'; flush privileges; 修改后可以用新的密码和Windows上的mysql客户端进行连接验证 ------------------------------------------------------------------------ 二，安装Hive 1.解压： tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/apps/ 2.建立软链接： cd /opt/apps/ ln -s apache-hive-3.1.2-bin hive 3.配置环境变量: vi /etc/profile export HIVE_HOME=/opt/apps/hive export PATH=$PATH:$HIVE_HOME/bin source /etc/profile 4.配置元数据库信息： cd /opt/apps/hive/conf vi hive-site.xml <configuration> <!-- mysql连接地址 --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://mini1:3306/hive?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value> <description>JDBC connect string for a JDBC metastore</description> </property> <!-- jdbc驱动 --> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <!-- mysql 登录用户名 --> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <!-- mysql 登录用户密码 --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> <description>password to use against metastore database</description> </property> <!-- hive 在hdfs上的数据库目录根路径 默认就是/user/hive/warehouse --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> </property> <!-- 关闭元数据存储授权 --> <property> <name>hive.metastore.event.db.notification.api.auth</name> <value>false</value> </property> <!-- 关闭元数据存储版本的验证 --> <property> <name>hive.metastore.schema.verification</name> <value>false</value> </property> </configuration> 5.添加jar包到 将mysql-connector-java-5.1.28.jar 文件发送到/opt/apps/hive/lib 6.由于hadoo和hive中两个guava.jar版本不一致，需要进行以下操作以保证guava.jar版本的一致性 6.1 删除hive中低版本的那个guava.jar rm -rf /opt/apps/hive/lib/guava-19.0.jar 6.2 将hadoop中高版本的guava.jar复制到hive的lib目录下 cp /opt/apps/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/apps/hive/lib/ 7.初始化元数据 schematool -dbType mysql -initSchema 8.启动一个hive交互shell： hive =========================================================================================================== ==========================================远程模式安装===================================================== =========================================================================================================== 一，安装MySQL 参考本地模式的mysql的安装 二，安装Hive 1.解压： tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/apps/ 2.建立软链接： cd /opt/apps/ ln -s apache-hive-3.1.2-bin hive 3.配置环境变量: vi /etc/profile export HIVE_HOME=/opt/apps/hive export PATH=$PATH:$HIVE_HOME/bin source /etc/profile 4.配置元数据库信息： cd /opt/apps/hive/conf vi hive-site.xml <configuration> <!-- mysql连接地址 --> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://mini1:3306/hive3?createDatabaseIfNotExist=true&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;useSSL=false</value> <description>JDBC connect string for a JDBC metastore</description> </property> <!-- jdbc驱动 --> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <!-- mysql 登录用户名 --> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <!-- mysql 登录用户密码 --> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> <description>password to use against metastore database</description> </property> <!-- hive 在hdfs上的数据库目录根路径 默认就是/user/hive/warehouse --> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse3</value> </property> <!-- 关闭元数据存储授权 --> <property> <name>hive.metastore.event.db.notification.api.auth</name> <value>false</value>