yarn工作机制及其他知识点整理

前言

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

一、Yarn基础架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。

1. ResourceManager(RM)
   • 处理客户端请求
   • 监控NodeManager
   • 启动监控ApplicationMaster
   • 资源的分配与调度
2. NodeManager(NM)主要作用
   • 管理单个节点上的资源
   • 处理来自ResourceManager的命令
   • 处理来自ApplicationMaster的命令
3. ApplicationMaster(AM)作用
   • 为应用程序申请资源并分配给内部任务
   • 任务的监控与容错
4. container容器
   • container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等

二、Yarn工作机制

(1) MR程序提交到客户端所在节点，通过main方法执行了waitForCompletion方法后创建YarnRunner，YarnRunner向RM申请一个application资源
(2) RM返回给application资源的提交路径以及application_id
(3) YarnRunner提交job运行所需资源，包括该job所需切片的信息(job.split)、job在Hadoop集群中的参数配置信息(job.xml)和使用的jar包(wc.jar)；这些资源文件需在job.submit()方法提交成功后才会在.staging文件中生成(当然里面还包含crc校验文件的sucess标志文件)
(4) 资源提交完成后YarnRunner向RM申请运行mrAppMaster
(5) RM会在内部将用户的请求初始化一个Task，然后放入的任务队列里面等待执行
(6) 等到NodeManager空闲后领取到Task任务便创建container容器
(7) container容器在里面启动mrAppMaster
(8) container容器读取job资源，获取到了job切片信息，向RM申请MapTask容器用来执行Map任务
(9) 其他空闲NodeManager空闲后领取任务创建对应切片个