23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化
需积分: 0 186 浏览量
2023-05-29
14:17:13
上传
评论 1
收藏 604KB PDF 举报
@TOC
本文介绍在hadoop集群中，不适用默认的参数情况下，yarn的cpu和内容配置。
本文依赖是hadoop集群正常运行。
本文分为3个部分，即概述、cpu和内存配置。
一、概述
hadoop yarn支持内存与CPU两种资源的调度方式。
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申
请的资源进行分配Container。
Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源。
在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个container使用一块磁盘
以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。
主要涉及参数有
yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.app.mapreduce.am.resource.mb
yarn.app.mapreduce.am.command-opts
mapreduce.map.memory.mb
mapreduce.reduce.memory.mb
mapreduce.map.java.opts
mapreduce.reduce.java.opts
二、内存分配计算
本文介绍2种配置方式，即通过已知的硬件资源进行人工计算和由辅助工具进行计算。需要说明的是，该
计算仅是方向性的计算，可以确保不出现大资源浪费或因配置不当导致环境不可用情况。即便本文的2种
配置方式，结果还是不同的。
此处计算的就是根据已有的硬件配置（即cpu核心数、磁盘个数、内存数）计算该环境中有多少
contaiers和每个contaier有多少内存。
1、人工计算
关于 内存 相关的配置可以参考hortonwork公司的文档 Determine HDP Memory Configuration
Settings 来配置集群。
剩余11页未读，继续阅读
资源评论
