CH5 ResourceManager重启

摘要:
目录概述功能非工作保留RM重启工作保留RM重新启动配置EnableRMRestart配置RM状态保存配置工作保留RM恢复概述ResourceManager是群集中的绝对资源管理工具,调度应用程序在YARN上运行。因此,对于YARN来说,这是一个单点问题。本文档介绍RM重新启动。有两种重新启动方法:1.非工作保留RM重新启动:RM重新启动不会保存工作,并将重新启动以前运行的应用程序2.工作保留RM重启:RM重新开始将保留工作

目录

概述

ResourceManager是集群中绝对的资源管理工具,并且调度应用在YARN上运行。因此对于YARN来说是一个单点问题。这个文档介绍RM的重启。
有2种重启的方式:
1.非工作保留RM重启:就是RM重启并不保存工作,并且会重启之前运行的应用
2.工作保留RM重启:RM重启会保留工作状态,并不会让工作的应用重启。

特性
非工作保留RM重启

非工作保留RM重启,RM会保存应用的元数据。当RM关闭,只要被请求的信息可用,当RM重启的时候,会获取应用的源信息并且重新提交应用。如果已经完成的app RM不会重复提交。
NodeManagers和client在RM down的时候一直和RM交互,知道RM启动。当RM起来会发送一个同步命令到NodeManager和AM。NM会kill所有被管理的容器然后重新注册到RM中。重新注册的NodeManager和新加入的NM类似。AM当收到同步命令的时候会被关闭。然后RM重启获取所有应用元数据,这证书放入内存。并且为没有完成的应用创建AM,之前运行的应用工作其实就是丢失了。相当于被kill,然后重新启动了。

工作保留RM重启

工作保留RM重启,RM会保存应用的状态并且在恢复的时候重新加载这些状态,这个重启主要是在于重新构建YARN集群的运行状态,主要是集群中容器的生命周期,应用的headroom,资源请求,队列的资源使用等等。这样rm不需要kill AM然后重新运行应用。应用可以简单的和RM同步恢复之前丢失的状态。
RM恢复运行状态是利用从NM发过来的容器的运行状态。NM不会kill容器。当NM注册的时候,会继续管理容器并且发送容器状态到RM。RM重新构建容器实例并且关联应用的调度状态。同时AM也需要重新发送资源请求到RM,可能之前丢失了。这些由AMRMClient lib完成。

配置
Enable RM Restart
属性
yarn.resourcemanager.recovery.enabledtrue
配置RM状态的保存
属性
yarn.resourcemanager.store.class类名用来配置rm状态保存的位置,Zookeeper:org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore ,Hadoop文件系统:org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore,LevelDB:org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore,默认:org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore
配置工作保留RM恢复
属性
yarn.resourcemanager.work-preserving-recovery.scheduling-wait-ms设置RM在分配新的容器之前,等待工作恢复的时间。

免责声明:文章转载自《CH5 ResourceManager重启》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇python -第七节课之加密操作之md5加密和base64类型C++构造函数简单用法下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

docker常规操作——启动、停止、重启容器实例

一、启动一个已经停止的容器实例 docker start 容器ID或容器名,建议使用容器ID,容器ID支持模糊查询而容器名称不支持1. 先查看已经暂停的容器实例信息 2. 通过docker start 067启动容器 3. 通过docker ps 查看当前启动的容器 具体操作如下图 docker start 还有两个参数 -it:以 交互模式启动  ...

React Native开发环境搭建(Windows)

一、安装node https://www.cnblogs.com/51ma/p/11276413.html 安装好以后,请设置一下node的镜像下载地址,改为国内的地址。这个地址为淘宝提供的镜像,速度比较快。 直接在cmd命令里面键入这两条命令即可。 npm config set registry https://registry.npm.taobao.o...

YARN安装及使用教程

YARN 官网 安装 去官网安装 安装yarn的下载压缩包,保证注册表和环境变量的硬写入,后期通过yarn安装全局包时比较方便也可以使用npm i yarn -g 使用 初始化一个新项目 yarn init 执行完成后,系统会生成一个package.json文件用来固化依赖 { "name": "npm", //项目名称 "version": "...

yarn上运行flink环境搭建

主要完成hadoop集群搭建和yarn上运行flink 1.搭建hadoop伪集群 主要是搭建hadoop MapReduce(yarn)和HDFS 1.1 下载&配置环境变量 这里下载的hadoop二进制包为 2.7.7,下载后解压到本地,假设是/usr/hadoop/hadoop-2.7.7 #HADOOP VARIABLES START e...

Docker最全教程——从理论到实战(六)

Docker最全教程——从理论到实战(六) 托管到腾讯云容器服务托管到腾讯云容器服务,我们的公众号“magiccodes”已经发布了相关的录屏教程,大家可以结合本篇教程一起查阅。   自建还是托管? 在开始之前,我们先来讨论一个问题——是自建容器服务还是托管到云容器服务? 这里笔者建议大家托管到云容器服务。对于中小团队来说,很多情况下,团队中的运维人员是缺...

自定义yarn运行vue项目命令

  在项目中的package.json文件的scripts块中可以看到新项目的yarn命令集合 "scripts": { "serve": "vue-cli-service serve", "build": "vue-cli-service build", "lint": "vue-cli-service lint" },...