YARN的重要概念
什么是Yarn
1
Yarn的架构
2
目 录
Yarn是Yet Another Resource Negotiator的缩写，是Hadoop集群资源管理器系统。
定义：
一、什么是Yarn
一、什么是Yarn
Yarn诞生背景，主要是由于Hadoop1.x架构中MapReduce的局限性，包括：
1、扩展性差：
jobtracker兼顾资源管理和作业控制跟踪功能跟踪任务，启动失败或迟缓的任务，记录任务的执行状态，维护计数器），压力大，成为系统的瓶颈
2、可靠性差：
采用了master/slave结构，master容易单点故障
3、资源利用率低：
基于槽位的资源分配模型，槽位是一种粗粒度的资源划分单位，通常一个任务不会用完一个槽位的资源，hadoop1分为map slot和reduce slot，而它们之间资源不共享，造成一些资源空闲。
Yarn的诞生背景
一、什么是Yarn
Yarn诞生背景，主要是由于Hadoop1.x架构中MapReduce的局限性，包括：
4、不支持多框架：
不支持多种计算框架并行
Yarn的诞生背景
一、什么是Yarn
Yarn很好解决了M
【大数据平台构建：YARN的重要概念】
YARN（Yet Another Resource Negotiator）是Apache Hadoop项目中的一个核心组件，主要用于解决Hadoop 1.x版本中MapReduce架构的局限性。YARN作为集群资源管理器，旨在提高大数据处理的效率、可扩展性和可靠性，同时也为支持多种计算框架提供了基础。
**YARN的诞生背景：**
在Hadoop 1.x中，JobTracker承担了资源管理和作业控制的双重职责，导致扩展性差，因为JobTracker的压力过大，成为系统瓶颈。此外，采用的master/slave结构使得系统存在单点故障的风险。资源利用率低是另一个问题，基于槽位的资源分配模型使得任务无法充分利用资源，且不同类型的slot之间资源不共享，造成了资源浪费。Hadoop 1.x不支持多种计算框架并行执行。
**YARN的基本思想：**
YARN将资源管理和作业控制分离，引入了一个全局的Resource Manager和每个应用对应的Application Master。Resource Manager负责资源调度，Application Manager管理用户作业，Node Manager则管理节点上的具体任务执行。这种设计使得YARN成为一个通用的分布式系统，能适应各种计算需求。
**YARN的优势：**
1. **支持非MapReduce应用**：YARN不再局限于MapReduce，可以运行其他计算框架，如Spark、Tez等。
2. **可扩展性**：通过分布式架构，YARN能够轻松扩展到大规模集群。
3. **提高资源利用率**：通过更精细的资源分配，提高了集群的整体效率。
4. **用户敏捷性**：用户可以快速部署和运行应用程序，无需关心底层资源管理。
5. **高可用性**：YARN支持搭建高可用的资源管理环境，减少单点故障风险。
**YARN的架构：**
YARN的架构仍然基于Master/Slave模式，主要由三个组件构成：
1. **ResourceManager**：全局资源仲裁者，包含Scheduler（负责资源调度）和ApplicationManager（管理用户作业）。
2. **NodeManager**：每个节点上运行，管理本节点上的应用程序和工作流，与ResourceManager通信更新资源使用情况。
3. **ApplicationMaster**：每个应用的生命周期管理者，负责向ResourceManager申请资源并监控task执行。
**组件详解：**
- **ResourceManager**：调度器负责公平地分配资源，ApplicationManager负责接收和处理用户的作业请求，启动ApplicationMaster。
- **NodeManager**：负责管理节点上的Container，执行Container内的任务，同时负责节点的日志管理和健康监控。
- **ApplicationMaster**：向ResourceManager申请资源，与NodeManager通信启动和监控Task。
总结来说，YARN通过分离资源管理和作业执行，实现了对大数据处理的高效、灵活和可靠管理，为大数据平台构建提供了强大的支撑。其设计思想和架构组件共同构成了一个能够适应多样化计算需求的现代大数据处理框架。
