启动secondarynamenode时报错

摘要:
环境:mac system+hadoop 2.6.0-cdh 5.7.0伪分布式问题1:启动hdfs的辅助名称节点时,报告错误。

环境:

mac系统 + hadoop2.6.0-cdh5.7.0伪分布式

问题一:

在启动hdfs的secondarynamenode时,报错。

正常情况:

sumengdeMacBook-Pro:sbin sumeng$ ./start-dfs.sh
18/06/11 21:35:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: starting namenode, logging to /Users/sumeng/app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-sumeng-namenode-sumengdeMacBook-Pro.local.out
localhost: starting datanode, logging to /Users/sumeng/app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-sumeng-datanode-sumengdeMacBook-Pro.local.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /Users/sumeng/app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-sumeng-secondarynamenode-sumengdeMacBook-Pro.local.out
18/06/11 21:35:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

报错:

sumengdeMacBook-Pro:sbin sumeng$ ./start-dfs.sh
18/06/11 21:42:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: starting namenode, logging to /Users/sumeng/app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-sumeng-namenode-sumengdeMacBook-Pro.local.out
localhost: starting datanode, logging to /Users/sumeng/app/hadoop-2.6.0-cdh5.7.0/logs/hadoop-sumeng-datanode-sumengdeMacBook-Pro.local.out
Starting secondary namenodes [account.jetbrains.com]
(卡在了这里,一直启动不了) account.jetbrains.com: ssh_exchange_identification: Connection closed by remote host

分析:

/etc/hosts/中,我在破解idea中,加了一行

0.0.0.0 account.jetbrains.com

我猜是由他引起的

方法一:

注释掉这句话之后,就不再报这个错误,secondarynamenode顺利启动

方法二:

在hdfs-site.xml添加

        <property>
                <name>dfs.secondary.http.address</name>
                <value>127.0.0.1:50090</value>
        </property>

因为不写的话默认是0.0.0.0:50090,改为127.0.0.1就可以

问题二:

在启动hadoop时,提示警告

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable、

方法:

https://blog.csdn.net/u014039577/article/details/49816907(里面有免费的包)

https://blog.csdn.net/u013310025/article/details/52853941

只是查了这些资料,没有实践

免责声明:文章转载自《启动secondarynamenode时报错》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇nuxt引入组件和公共样式BZOJ 1567 Blue Mary的战役地图(二维hash+二分)下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Hive(1)-基本概念

一. 什么是Hive Hive:由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能。 本质是:将HQL(Hive Query Language)转化成MapReduce程序 1)Hive处理的数据存储在HDFS 2)Hive分析数据底层的实现是...

【Hadoop系列】linux SSH原理解析

本文中斜体加粗代表shell指令,操作环境 CentOS6.5 linux root免密码登录链接:【Hadoop系列】linux下 root用户免密码登录远程主机 ssh。 linux 非root用户免密码登录:XXXXXXX(暂未写好) Linux下,使用ssh协议登录远程计算机。让我们先来了解下什么是SSH。 一、什么是SSH?简单说,SSH是一种网...

大数据(2)---HDFS集群搭建

一、准备工作   1.准备几台机器,我这里使用VMware准备了四台机器,一个name node,三个data node。   VMware安装虚拟机:https://www.cnblogs.com/nijunyang/p/12001312.html   2.Hadoop生态几乎都是用的java开发的,因此四台机器还需要安装JDK。   3.集群内主机域名...

Spark官方文档翻译(一)~Overview

Spark官方文档翻译,有问题请及时指正,谢谢。 Overview页 http://spark.apache.org/docs/latest/index.html Spark概述 Apache Spark 是一个快速的,分布式集群计算系统.它提供了高等级的针对 Java, Scala, Python and R的API接口, 他还是一个优秀的图处理引...

hadoop常见错误及解决办法整理

1:Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out  Answer:程序里面需要打开多个文件,进行分析,系统一般默认数量是1024,(用ulimit -a可以看到)对于正常使用是够了,但是对于程序来讲,就太少了。修改办法:修改2个文件。       /etc/security...

hadoop安装笔记

 最近在学习hadoop,hadoop的安装过程如下 我选用的是ubuntu 14桌面版+hadoop3.1.1。 1,ubuntu的安装   需要准备的有:ubuntu镜像文件,VMware虚拟机   首先我们需要linux系统,但是由于平时大家基本都是使用windows系统,而且hadoop集群又需要多个节点,所以我们需要使用虚拟机,这里选用的是VM ...