YARN Application执行流程

摘要:
图1Application执行流程客户端提交作业到RM。RM在调度器中创建一个新的AppAttempt,维护该作业的信息。NM1向RM发送心跳,RM把ApplicationMaster分配到该NM1。RM在调度器中维护AM所需的资源container1、container2等。AM通过RPC调用NM2的startcontainer方法。Container1启动后向AM汇报进度。AM向RM发送心跳,RM告诉AM相应的container1已经结束。

原文见http://xiguada.org/yarn-application_run/

本节简单描述了一个Application在YARN上的执行流程,希望对初识YARN的同学提供一些帮助。

YARN Application执行流程第1张

图1 Application执行流程

  1. 客户端提交作业到RM。
  2. RM在调度器中创建一个新的AppAttempt,维护该作业的信息。
  3. NM1向RM发送心跳,RM把ApplicationMaster分配到该NM1。
  4. RM通过RPC调用NM1的startcontainer方法。
  5. NM1启动AM。
  6. AM启动后向RM注册,并向RM请求资源。
  7. RM在调度器中维护AM所需的资源container1、container2等。
  8. NM2向RM发送心跳,请求资源。
  9. RM向NM2分配相应的资源container1。
  10. AM向RM发送心跳,RM告诉AM已经分配的container。
  11. AM通过RPC调用NM2的startcontainer方法。
  12. NM2启动container1。
  13. Container1启动后向AM汇报进度。
  14. Container1结束后NM通过心跳通知RM。
  15. AM向RM发送心跳,RM告诉AM相应的container1已经结束(也可以实现container直接告诉AM已经成功结束)。
  16. 当AM的所有Task已经结束,AM向RM汇报自己的结束状态。

转载请注明出处http://www.cnblogs.com/shenh062326/p/3598108.html

免责声明:文章转载自《YARN Application执行流程》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇白乔原创:VC之美化界面篇iOS开发基础知识--碎片27下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Hadoop入门知识总结

一、大数据1.含义 大数据指在一定时间范围内使用常规的软件无法处理的数据集合!2.特点 ①海量 ②高增长率 ③多样性 ④低价值密度二、Hadoop1.含义 狭义: Hadoop只代表hadoop框架本身! 广义: hadoop代表整个hadoop体系,由hadoop框架和其他依赖于hadoop的其他框架共同组成!2.hadoop的组成2.x版本 HDFS:...

了解 yarn 、npm、nodejs

一、前言 针对即将上线的 jeecg-boot 做一些准备。 二、了解系列 1、了解 nodejs Node.js 就是运行在服务端的 JavaScript。 Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。 Node.js是一个事件驱动I/O服务端JavaScript环境,基于Google的V8引擎,V8引擎执行...

清理yarn、npm缓存

清理yarn/npm缓存包 注:使用yarn、npm、cnpm、nvm等包管理工具安装插件包的时候,会在本地缓存一些插件包。若在安装包管理工具的时候,使用的是默认的安装路径, 则在安装的路径下会产生一个cache文件目录(缓存已下载的依赖包),随着时间的推移,开发项目安装的依赖越来越多,慢慢cache缓存文件越来越多,系统盘占用也越来越多,为此,想清除ca...

Yarn 模式

独立部署(Standalone)模式由 Spark 自身提供计算资源,无需其他框架提供资源。这 种方式降低了和其他第三方资源框架的耦合性,独立性非常强。但是你也要记住,Spark 主 要是计算框架,而不是资源调度框架,所以本身提供的资源调度并不是它的强项,所以还是 和其他专业的资源调度框架集成会更靠谱一些。所以接下来我们来学习在强大的 Yarn 环境 下...

Spark1.0.0 源码编译和部署包生成

问题导读:1、如何对Spark1.0.0源码编译?2、如何生成Spark1.0的部署包?3、如何获取包资源?Spark1.0.0的源码编译和部署包生成,其本质只有两种:Maven和SBT,只不过针对不同场景而已:Maven编译SBT编译IntelliJ IDEA编译(可以采用Maven或SBT插件编译),适用于开发人员部署包生成(内嵌Maven编译),适用...

ERROR: Cannot set priority of registrydns process 33740

hdp安装yarn时,yarn registry dns无法启动。报错 ERROR: Cannot set priority of registrydns process xxxxx 原因: The default port for Registry DNS is 53. Check if that port is opened netstat -tnlp...