Yarn日记.docx

什么是Yarn ： 通用资源管理系统和调度平台 Yarn特点： 1、支持多计算框架 2、资源利用率高，运行成本低，数据共享。 Yarn的意义： 降低了企业硬件的成本（多个集群变成一个集群），减少了资源的了浪费，运营成本低。 Yarn，全称为Yet Another Resource Negotiator，是Apache Hadoop项目中的一个核心组件，主要功能是作为通用资源管理系统和调度平台。它的引入显著地改变了Hadoop的架构，使得Hadoop集群能够更有效地管理和调度计算资源，同时支持多种计算框架，如MapReduce、Spark、Tez等。 Yarn的特点体现在以下几个方面： 1. **支持多计算框架**：Yarn的出现使得不同的计算框架可以在同一个平台上运行，无需关心底层资源管理的细节，提高了系统的灵活性。 2. **资源利用率高**：通过高效的资源调度算法，Yarn能够动态分配和回收资源，避免了资源的浪费，提高了集群的整体利用率。 3. **运行成本低**：通过统一的资源管理，企业只需要维护一个集群，减少了硬件和运维成本。 4. **数据共享**：Yarn的资源管理机制使得数据共享更加便捷，加速了跨应用的数据访问。 Yarn的基本组成包括以下关键组件： 1. **ResourceManager (RM)**：作为整个集群的资源调度中心，负责全局资源的分配和监控。 2. **NodeManager (NM)**：分布在集群的各个节点上，管理本地节点的资源，接收RM的指令启动和停止container。 3. **ApplicationMaster (AM)**：每个应用都有一个ApplicationMaster，负责申请资源、协调任务执行和监控任务状态。 4. **Container**：容器化的资源单元，封装了CPU、内存等资源，是Yarn分配给应用执行任务的基本单位。 Yarn的任务提交流程大致如下： 1. 客户端向RM提交应用，包括ApplicationMaster的信息。 2. RM启动一个container来运行ApplicationMaster。 3. ApplicationMaster注册到RM，并持续发送心跳。 4. AM向RM申请container来运行任务。 5. 成功申请到的container由AM初始化并通知NM启动。 6. NM启动container，AM监控container的运行状态。 7. 当任务完成，AM注销自身，释放container。 Yarn提供了多种调度策略： 1. **FIFO Scheduler**：先进先出，简单公平，但可能造成资源空闲或延迟。 2. **Capacity Scheduler**：按队列分配资源，保证了不同队列的资源保证，是CDH默认的调度器。 3. **Fair Scheduler**：追求资源的公平分配，初期可能独占资源，但随着任务提交，资源会得到合理调整。 参数`yarn.scheduler.fair.allow-undeclared-pools`决定是否允许创建未声明的队列，而`yarn.scheduler.fair.user-as-default-queue`则决定了用户提交任务时是否默认使用其用户名作为队列。 此外，Hadoop HA（High Availability）是为了解决NameNode和ResourceManager的单点故障问题。在Hadoop HA中： 1. NameNode HA包括两个NN，一个活动状态，一个备用状态，两者通过JournalNodes进行元数据同步。 2. ResourceManager HA同样采用主备模式，确保RM服务的连续性。 3. ZooKeeper Fault Tolerance (ZKFC)组件监控NN状态并在状态切换时传递信息。 当Active NN宕机时，通过ZooKeeper的临时ZNode机制，StandBy NN能够接管并成为新的Active状态，确保服务的无缝切换。这一过程涉及到ZKFC、ZK集群以及NN之间的紧密协作，以实现高可用性。