Apache TEZ 部署手册
Apache TEZ 是一个基于 Hadoop 的数据处理引擎，它提供了高性能、可扩展的数据处理能力。Apache TEZ 部署手册是一份详细的指导手册，涵盖了 Apache TEZ 的部署、配置和使用。
一、准备
在部署 Apache TEZ 之前，需要准备以下几个步骤：
1. 下载 Apache TEZ 的安装包，从 http://tez.apache.org/releases/index.html 选择合适的版本下载。在本次测试中，我们使用的是 0.7.0 版本。
2. 确认机器已经安装了 Maven、Git 和 Nodejs、Npm 等依赖项。
3. 确认机器可以连接外网到 Maven 的仓库。
4. 安装 Google Protocol Buffers 2.5.0 及 Protocol compiler 2.5.0，推荐使用二进制安装包。
二、应用打包编译
在编译 Apache TEZ 之前，需要修改 pom.xml 文件，调整 Hadoop 版本，根据实际的 Hadoop 版本调整 hadoop.version 属性的值。然后，执行打包命令 `mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true`。在编译过程中，可能会遇到一些问题，基本都是依赖软件没有安装造成的。
三、部署到集群
编译完成后，会生成两个 tar 包：tez-0.7.0.tar.gz 和 tez-0.7.0-minimal.tar.gz。这两个包是最基本的目标。将整个打包后的结果分发到其他机器上。
1. 解压 tar 包 `tar –zxvf ./tez/tez-dist/target/tez-0.7.0.tar.gz` 和 `tar –zxvf ./tez/tez-dist/target/tez-0.7.0-minimal.tar.gz`。
2. 将 tez-0.7.0 上传到 HDFS `hadoop fs –mkdir /apps` 和 `hadoop fs –put ./tez/tez-dist/target/tez-0.7.0 /apps/tez`。
3. 编写配置文件，创建文件名为 tez-site.xml 的文件，配置 tez.lib.uris。
<?xml version="1.0" encoding="UTF-8"?>
<configuration>
<property>
<name>tez.lib.uris</name>
<value>/apps/tez,/apps/tez/lib</value>
</property>
</configuration>
四、配置环境变量
export TEZ_HOME=/opt/beh/core/tez
export TEZ_JAR=/opt/beh/core/tez/lib
export TEZ_CONF_DIR=/opt/beh/core/hadoop/etc/hadoop
HADOOP_CLASSPATH=$TEZ_JAR/*:$TEZ_JAR/lib/*:$HADOOP_CLASSPATH;
export HADOOP_CLASSPATH
五、使用
如果使用 HIVE，请考虑版本匹配，目前经过测试 TEZ 0.7.0 和 HIVE 1.2 可以正常工作。
方法一：修改 mapred-site.xml 文件，将 mapreduce.framework.name 从 yarn 修改为 yarn-tez。这样做的缺点是，所有任务都由 TEZ 执行。
<property>
<name>mapreduce.framework.name</name>
<value>yarn-tez</value>
</property>
方法二：仅用于 HIVE 启动时，显示指定 TEZ 为 HIVE 的数据引擎。
Hive –hiveconf hive.execution.engine=tez
引擎修改后，application type 会改变为 TEZ，如下图所示。
