给hive的metastore做JVM优化

摘要:
最近,在测试环境中,hive的元存储不稳定,因此进行了JVM优化以在hive环境中导出HADOOP。sh_ HOME=/opt/cdh/hadoop-2.6.0-cdh5.14.0if[“$SERVICE”=“cli”];然后[-z“$DEBUG”];thenexportHADOOP_ OPTS=“$HADOOP_OPS-XX:新比率=12-Xmx2048m-X

给hive的metastore做JVM优化第1张

最近在测试环境下,hive的metastore不稳定,于是做一次JVM优化

在hive-env.sh中

export HADOOP_HOME=/opt/cdh/hadoop-2.6.0-cdh5.14.0

if [ "$SERVICE" = "cli" ]; then
if [ -z "$DEBUG" ]; then
export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xmx2048m -Xms2048m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:-UseGCOverheadLimit -verbose:gc -Xloggc:/opt/cdh/hive-1.1.0-cdh5.14.0/hivemeta.gc.log -XX:ErrorFile=/opt/cdh/hive-1.1.0-cdh5.14.0/hs_err_pid.log -XX:+UseParNewGC -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=85 -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:SurvivorRatio=4 -XX:CMSMaxAbortablePrecleanTime=1000 -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC" -XX:-UseGCOverheadLimit"
else
export HADOOP_OPTS="$HADOOP_OPTS -XX:NewRatio=12 -Xmx2048m -Xms2048m -XX:MaxHeapFreeRatio=40 -XX:MinHeapFreeRatio=15 -XX:-UseGCOverheadLimit -verbose:gc -Xloggc:/opt/cdh/hive-1.1.0-cdh5.14.0/hivemeta.gc.log -XX:ErrorFile=/opt/cdh/hive-1.1.0-cdh5.14.0/hs_err_pid.log -XX:+UseParNewGC -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=85 -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:SurvivorRatio=4 -XX:CMSMaxAbortablePrecleanTime=1000 -XX:+CMSClassUnloadingEnabled -XX:+DisableExplicitGC" -XX:-UseGCOverheadLimit"
fi
fi

export HADOOP_HEAPSIZE=4096

免责声明:文章转载自《给hive的metastore做JVM优化》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇element-ui 复选框,实现点击表格当前行选中或取消Java本地运行中文正常,部署到Weblogic中文乱码下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Hive基础之Hive数据类型

Hive数据类型    参考:中文博客:http://www.cnblogs.com/ggjucheng/archive/2013/01/03/2843448.html          英文:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types    1、列类型    ...

Java实现第八届蓝桥杯正则问题

正则问题考虑一种简单的正则表达式:只由 x ( ) | 组成的正则表达式。小明想求出这个正则表达式能接受的最长字符串的长度。 例如 ((xx|xxx)x|(x|xx))xx 能接受的最长字符串是: xxxxxx,长度是6。 输入 一个由x()|组成的正则表达式。输入长度不超过100,保证合法。 输出 这个正则表达式能接受的最长字符串的长度。 例如,...

基于Centos7.6上Ambari2.7.4+HDP3.1.4离线安装

概述 Ambari:基于Web的工具,支持Apache Hadoop集群的创建 、管理和监控。可以从apache官网下载源码,自己定义开发自己需要的样式。这里先设下一个伏笔,有兴趣的可以跟着我的博客。后面会有apache-ambari二次开发。HDP:包含了hadoop生态系统的所有软件项目,比如HBase,Zookeeper,Hive,Pig等等。HDP...

启动tomcat时报内存溢出,Exception: java.lang.OutOfMemoryError thrown from the UncaughtExceptionHandler in thread "main"

文章转载自https://www.cnblogs.com/Chiler/p/9484266.html 问题原因   通过tomcat启动项目,也许是因为项目太大,配置的内存不够用了。老是报内存溢出的问题。 解决办法 1.选中项目 右键 run as -》Run Configurations... 2.出现tomcat配置页面。选中需要修改的tomcat...

Hive metastore源码阅读(一)

不要问我为什么,因为爱,哈哈哈哈。。。进入正题,最近做项目顺带学习了下hive metastore的源码,进行下知识总结。 hive metastore的整体架构如图: 一、组成结构: 如图我们可以看到,hive metastore的组成结构分为 客户端 服务端 ,那么下来我们逐一进行分析: 1、客户端 从代码的角度来看:尼玛太多了。。我们从入口HIV...

hiveql函数笔记(二)

1、数据查询 //提高聚合的性能 SET hive.map.aggr=true; SELECT count(*),avg(salary) FROM employees; //木匾不允许在一个查询语句中使用多于一个的函数(DISTINCT。。。)表达式 SELECT count(DISTINCT symbol) FROM stocks; 表生成函数: exp...