presto on yarn安装部署.docx

Presto on YARN 安装部署指南 Presto on YARN 是 Presto 的分布式实现，能够在 Hadoop 生态系统中运行。下面是 Presto on YARN 的安装部署指南。 Presto on YARN 安装部署 1. 下载 Presto on YARN 的源代码，地址为：https://github.com/prestodb/presto-yarn/ 2. 解压源代码，修改配置文件 `/presto-yarn-master/presto-yarn-package/src/main/slider/package/templates/resource_groups.json.j2`，配置运行组。 3. 在解压目录中编译 Presto on YARN，使用以下命令：`mvn clean package -Dpresto.version=0.220` resource_groups.json.j2 配置文件 该文件用于配置 Presto on YARN 的资源组。资源组是 Presto on YARN 中的逻辑单元，用于管理资源和调度任务。下面是配置文件的详细解释： * `rootGroups`：定义了一个根资源组，名称为 `global`。 * `softMemoryLimit`：定义了资源组的软内存限制，单位为百分比。 * `hardConcurrencyLimit`：定义了资源组的硬并发限制，单位为任务数量。 * `maxQueued`：定义了资源组的最大排队任务数量。 * `schedulingPolicy`：定义了资源组的调度策略，有三种策略：fair、weighted_fair、weighted。 * `subGroups`：定义了资源组的子组，包括 `data_definition` 和 `adhoc_${USER}` 两个子组。 子组配置 子组是资源组的逻辑子单元，用于管理资源和调度任务。每个子组都有其自己的配置项： * `name`：子组的名称。 * `softMemoryLimit`：子组的软内存限制，单位为百分比。 * `hardConcurrencyLimit`：子组的硬并发限制，单位为任务数量。 * `maxQueued`：子组的最大排队任务数量。 * `schedulingWeight`：子组的调度权重，用于计算子组的优先级。 Presto on YARN 的调度策略 Presto on YARN 的调度策略有三种：fair、weighted_fair、weighted。 * fair：排队中的查询以 first-in-first-out 形式调度，如果子组中有排队，轮流执行。 * weighted_fair：子组选择基于 schedulingWeight 和目前在运行的任务。 * weighted：排队任务按照优先级顺序随机选择，选择子组与它们的调度权重成比例地启动新查询。 Presto on YARN 的 queryType Presto on YARN 的 queryType 用于标识查询类型，包括： * DATA_DEFINITION：alter/create/drop schemas/tables/views 的元数据和权限、会话、事物相关的任务。 * DELETE：删除数据的任务。 * DESCRIBE：DESCRIBE, DESCRIBE INPUT, DESCRIBE OUTPUT, and SHOW 类型的任务。 * EXPLAIN：EXPLAIN 类型的任务。 * INSERT：INSERT 和 CREATE TABLE AS 类型的任务。 * SELECT：SELECT 类型的任务。 Presto on YARN 的部署 1. 编译完成后，在 `/presto-yarn-package/target` 目录下找到包 `presto-yarn-package-1.6-SNAPSHOT-0.220.zip`。 2. 解压 slider 包，修改解压包里面 pom.xml 文件，下载地址：https://archive.apache.org/dist/incubator/slider/，指定 Hadoop 版本。 3. 注释掉 slider-core 和 slider-funtest 中对 Hadoop-minicluster 包依赖。 4. 编译：`mvn clean package -Dmaven.test.skip=true –DskipTests`。 结论 Presto on YARN 是 Presto 的分布式实现，能够在 Hadoop 生态系统中运行。通过本指南，可以成功安装和部署 Presto on YARN，並且了解 Presto on YARN 的配置和调度策略。