---

一、简介

• YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

• YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

二、YARN调度器和调度算法

目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.3.4默认的资源调度器是Capacity Scheduler。

CDH框架默认调度器是公平（Fair Scheduler）。

1、先进先出调度器（FIFO）

FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。

优点：简单易懂。

缺点：不支持多队列，生产环境很少使用。

2、容量调度器（Capacity Scheduler）

Capacity Scheduler是Yahoo开发的多用户调度器。

3、公平调度器（Fair Scheduler）

Fair Schedulere是Facebook开发的多用户调度器。

3.1 公平调度器特点

3.2 公平调度器资源分配方式

• 1）FIFO策略

  公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。

• 2）Fair策略

Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。

具体资源分配流程和容量调度器一致；

（1）选择队列

（2）选择作业

（3）选择容器以上三步，每一步都是按照公平策略分配资源

**实际最小资源份额：**mindshare = Min（资源需求量，配置的最小资源）

**是否饥饿：**isNeedy = 资源使用量 < mindshare（实际最小资源份额）

**资源分配比：**minShareRatio = 资源使用量 / Max（mindshare, 1）

**资源使用权重比：**useToWeightRatio = 资源使用量 / 权重

• 3）DRF策略

  DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。

那么在YARN中，我们用DRF来决定如何调度：假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制。