hiveserver2启动卡住问题解决方案

摘要:
问题分析:hiveserver2可能是Hadoop集群进入安全模式,导致hiveserver2连接不上集群临时解决方案:离开安全模式即可#查看安全模式情况hdfsdfsadmin-safemodeget#离开安全模式hdfsdfsadmin-safemodeleave#进入安全模式hdfsdfsadmin-safemodeenter问题再分析:如何永久性的解决这个问题呢?--指定hadoop数据的存储目录--˃hadoop.tmp.dir/opt/module/hadoop-3.1.3/data第三步:删除日志文件目录,该日志文件目录可在yarn-site.xml配置文件中找到,所以删除logs目录即可˂!

问题分析:hiveserver2可能是Hadoop集群进入安全模式,导致hiveserver2连接不上集群

临时解决方案:离开安全模式即可

#查看安全模式情况
hdfs dfsadmin -safemode get
#离开安全模式
hdfs dfsadmin -safemode leave
#进入安全模式
hdfs dfsadmin -safemode enter

问题再分析:如何永久性的解决这个问题呢?我们不可能每次启动集群都要手动离开安全模式!!所以我们要思考为什么Hadoop集群过去几个小时了还处于安全模式状态?

首先我们查看一下hdfs上的坏块情况

hdfs fsck /

若发现存在坏块,则将其删除

hdfs fsck / -delete

再次启动Hadoop集群即可(若还是一直处于安全模式状态下建议先重启虚拟机【非生产环境】,实在不行就只能重新格式化namenode)

如何重新格式化namenode?

第一步:先停止hadoop集群

第二步:删除hdfs的数据存放目录,该目录可在core-site.xml配置文件中找到,所以删除data目录即可(若之前没配置,则在默认路径中)

<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
</property>

第三步:删除日志文件目录,该日志文件目录可在yarn-site.xml配置文件中找到,所以删除logs目录即可

<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

第四步:重新格式化(所有主机都要删除上述两个文件夹)

hdfs namenode -format

第五步:再次启动集群即可,发现启动之后马上退出了安全模式,此时再次启动hive,发现没有卡住,问题解决

免责声明:文章转载自《hiveserver2启动卡住问题解决方案》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇oracle 在sql中显示blob的字符串用python调用caffe时出错:AttributeError: 'module' object has no attribute 'bool_'下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

HBase 的安装与配置

实验简介 本次实验学习和了解 HBase 在不同模式下的配置和安装,以及 HBase 后续的启动和停止等。 一、实验环境说明 1. 环境登录 无需密码自动登录,系统用户名shiyanlou,密码shiyanlou 2. 环境介绍 本实验环境采用带桌面的Ubuntu Linux环境,实验中会用到桌面上的程序: XfceTerminal: Linux命令行终...

hadoop三个配置文件的参数含义说明

1获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知道这些配置文件有哪些配置可以生效,上网找的配置可能因为各个hadoop版本不同,导致无法生效。浏览更多的配置,有两个方法: 1.选择相应版本的hadoop,下载解压后,搜索...

CDH搭建Hadoop分布式服务器集群(java新手小白)

1首先对于一个java还白的小白,先理解CDH与Hadoop的关系 一、Hadoop版本选择。 Hadoop大致可分为Apache Hadoop和第三方发行第三方发行版Hadoop,考虑到Hadoop集群部署的高效,集群的稳定性, 以及后期集中的配置管理,业界多使用Cloudera公司的发行版,简称为CDH。 下面是转载的Hadoop社区版本与第三方发行版...

Hive分析hadoop进程日志

想把hadoop的进程日志导入hive表进行分析,遂做了以下的尝试。 关于hadoop进程日志的解析 使用正则表达式获取四个字段,一个是日期时间,一个是日志级别,一个是类,最后一个是详细信息, 然后在hive中建一个表,可以用来方便查询。 2015-12-18 22:23:23,357 INFO org.apache.hadoop.yarn.server...

日志采集框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统)

 Flume支持众多的source和sink类型,详细手册可参考官方文档,更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flume官网入门指南:  1:Flume的概述和介绍: (1):Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。(2):Flume可...

卸载Ambari集群

清理ambari安装的hadoop集群本文针对redhat或者centos 对于测试集群,如果通过ambari安装hadoop集群后,想重新再来一次的话,需要清理集群。 对于安装了很多hadoop组件的话,这个工作很繁琐。接下来是我整理的清理过程。 1,通过ambari将集群中的所用组件都关闭,如果关闭不了,直接kill -9 XXX 2,关闭ambari...