YARN线上动态资源调优.doc

YARN 线上动态资源调优

 

  线上 Hadoop 集群资源严重不足，可能存在添加磁盘，添加 CPU，添加节点的操

作，那么在添加这些硬件资源之后，我们的集群是不能立马就利用上这些资源的，需要修改

集群 Yarn 资源配置，然后使其生效。

 

 

 背景

 线上 Hadoop 集群资源严重不足，可能存在添加磁盘，添加 CPU，添加节点的操作，那么

 组件：Hadoop-2.7.7，Hive-2.3.4，Presto-220，Dolphinscheduler-1.3.6，Sqoop-1.4.7

 

 分配策略

 

 由于我们的版本是 Hadoop-2.7.7，有些默认配置是固定一个值，好比可用内存 8G，可用

CPU 核数 8 核，如果调优就需要我们配置的东西比较多。

 

 官 方 Yarn 参 数 配 置 ：

https://hadoop.apache.org/docs/r2.7.7/hadoop-yarn/hadoop-yarn-common/yarn-default.xml