hadoop yarn ui applications list 研究

摘要:
Yarn提供的web界面可以看到applications历史数据,YarnWebUI的列表数据如图:这部分数据的展现方式是前台分页,意思就是比如有2w的历史数据,将一次全部加载,第一次非常慢,后续操作很快。在RMContext的实现类RMContextImpl中可以详细知道数据存在什么里面,是ConcurrentHashMap那整个集群跑的applications的数据都放到这个Map中,时间长了,数据量上来怎么办?有关于数量控制的配置,并在RMAppManager对这个Map的数据超过配置进行remove操作。可以修改yarn-site.xml中的如下配置,修改默认值1w。

Yarn提供的web界面可以看到applications历史数据,Yarn Web UI的列表数据如图:

Image

这部分数据的展现方式是前台分页,意思就是比如有2w的历史数据,将一次全部加载,第一次非常慢,后续操作很快。

列表数据最终调用到org.apache.hadoop.yarn.server.resourcemanager.webapp.AppsBlock类中

在render方法中有下面代码

Image(1)Image(2)

可以数据是从RMContext中获得的。在RMContext的实现类RMContextImpl中可以详细知道数据存在什么里面,是ConcurrentHashMap

Image(3)

那整个集群跑的applications的数据都放到这个Map中,时间长了,数据量上来怎么 办?有关于数量控制的配置,并在RMAppManager对这个Map的数据超过配置进行remove操作。相见如下截图

YarnConfiguration中的配置

Image(4)

RMAppManager中的重要代码

Image(5)

Image(6)

可以默认配置值是1w,实际经验是这个值保留平均每天作业数的2到3倍就可以,就是保留数据2,3天。不然使用1w数据确实很大,前台显示缓慢也会给resourcemanager带来不必要的压力和性能瓶颈。

可以修改yarn-site.xml中的如下配置,修改默认值1w。

<property>
<name>yarn.resourcemanager.max-completed-applications</name>
<value>2000</value>
</property>

另外jobhistory的数量控制参考

http://IP:19888/jobhistory

<property>
<name>mapreduce.jobhistory.joblist.cache.size</name>
<value>10</value>
</property>
etc/hadoop/mapred-site.xml

参考

http://zh.hortonworks.com/blog/apache-hadoop-yarn-resourcemanager/http://blog.csdn.net/wujun8/article/details/34102889

http://blog.csdn.net/skywalker_only/article/details/41726189

免责声明:文章转载自《hadoop yarn ui applications list 研究》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇CDI services--interceptors(拦截器)STLINK V2安装使用详解下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Hadoop组件之-HDFS(HA实现细节)

NameNode 高可用整体架构概述 在 Hadoop 1.0 时代,Hadoop 的两大核心组件 HDFS NameNode 和 JobTracker 都存在着单点问题,这其中以 NameNode 的单点问题尤为严重。 因为 NameNode 保存了整个 HDFS 的元数据信息,一旦 NameNode 挂掉,整个 HDFS 就无法访问,同时 Hadoop...

Hadoop学习之路(八)在eclispe上搭建Hadoop开发环境

一、添加插件 将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中 二、在Windows上安装Hadoop2.7.5 版本最好与Linux集群中的hadoop版本保持一致 1、将hadoop-2.7.5-centos-6.7.tar.gz解压到Windows上的C盘software目录中 2、配置h...

使用root配置的hadoop并启动会出现报错

1、使用root配置的hadoop并启动会出现报错 错误: Starting namenodes on [master] ERROR: Attempting to operate on hdfs namenode as rootERROR: but there is no HDFS_NAMENODE_USER defined. Aborting opera...

多台机器shell脚本:jps脚本;启动zookeeper脚本;文件分发脚本

1 查看多台机器jps脚本 1)创建vim jpsall atguigu@hadoop102:cd /opt/module/hadoop-2.8.5/bin$ 2) #!/bin/bash for ((host=102;host<105;host++)); do echo ---------------------hadoop$hos...

Hive HMS Canary 时间较长异常分析

一、现象及异常 测试up1集群: create database 操作 200s 多一点。 # sudo -u hive hive --hiveconf hive.metastore.uris=thrift://10.197.1.141:9084 hive> create database wgtestdb_region3_1; OK Time ta...

HDFS之五:Hadoop 拒绝远程 9000 端口访问

最近学习Hadoop 时发现在本机访问 hadoop 9000 端口没有问题,但是远程机器访问 9000端口时不能访问,通过telnet 命令诊断发现发现无法访问端口,经过网上搜索解决方案结合自己实践,总结解决办法一般有以下几点。 首先,利用netstat -tpnl查看的端口开放情况 下图中9000端口只能本机访问 下图中的9000端口可以通过192....