HDFS安全模式

摘要:
当namenode启动时,图像文件和编辑日志将加载到内存中,以在内存中形成元数据图像。然后将创建一个新的fsimage和一个空的editlog。此时,namenode开始侦听RPC和http请求。namenode进入安全模式,仅接受客户端读取请求。在安全模式下,每个数据节点将向namenode发送数据块列表。当namenode计数到足够的数据块时,它将在30秒后退出安全模式。如果找到的节点太少,将启动数据块的复制过程。新格式化的HDFS系统将不会进入安全模式,因为没有数据库可以查看HDFS模式hdfsdfsadmin safemodeget进入HDFS安全模式hdfsfsadmin safemodeenter退出HDFS安全模式hdfsdfsadmin safemodelave

参考:https://forum.huawei.com/enterprise/zh/thread-435089.html

安全模式是HDFS的一种工作状态,处于安全模式下,只能给客户端提供只读视图,不接受增删改。

namenode启动时,会将映像文件(fsimage)和编辑日志(edit log)加载到内存中,在内存中形成一个元数据映像。接着会创建一个新的fsimage和空的edit log。此时namenode开始监听RPC和http请求。namenode进入安全模式,只接受客户端读请求。

在安全模式下,各个datanode会向namenode发送数据块列表,当namenode统计到有足够多的数据块后(每个副本默认3个),30秒后退出安全模式。若发现节点过少,会启动数据块的复制过程。。

刚格式化的HDFS系统不会进入安全模式,因为没有数据库

查看hdfs的模式

hdfs dfsadmin -safemode get

进入hdfs安全模式

hdfs dfsadmin -safemode enter

退出hdfs安全模式

hdfs dfsadmin -safemode leave

免责声明:文章转载自《HDFS安全模式》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Android系统Binder机制学习总结C# TCP通信下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

HBase海量数据存储

HBaseHBase是一个基于HDFS的非关系型数据库(海量数据存储) HBase的特点 1.海量数据存储,HBase中的表可以容纳上百亿行x上百万列的数据。 2.列式存储,HBase中的数据是基于列进行存储的,能够动态的增加和删除列。 3.准实时查询,HBase在海量的数据量下能够接近准实时的查询(百毫秒以内) 4.多版本,HBase中每一列的数据都有多...

HDFS常用命令

HDFS常用命令,虽然现在流行很多hadoop插件,直接或间接操作HDFS,但是熟悉HDFS原生操作命令也是有好处的。HDFS命令和Linux系统操作命令有很多相似之处,对熟悉Linux系统操作的人来说学习很简单,所以大数据入门首先学习Linux系统。hadoop fs 和hdfs dfs 两种命令都可以操作执行。 #hdfs dfs -help [com...

Hadoop学习之路(十二)分布式集群中HDFS系统的各种角色

NameNode 学习目标 理解 namenode 的工作机制尤其是元数据管理机制,以增强对 HDFS 工作原理的 理解,及培养 hadoop 集群运营中“性能调优”、“namenode”故障问题的分析解决能力 问题场景 1、Namenode 服务器的磁盘故障导致 namenode 宕机,如何挽救集群及数据? 2、Namenode 是否可以有多个?name...

Python+Spark2.0+hadoop学习笔记——pyspark基础

在历经千辛万苦后,终于把所有的东西都配置好了。 下面开始介绍pyspark的一些基础内容,以字数统计为例。 1)在本地运行pyspark程序 读取本地文件 textFile=sc.textFile("file:/usr/local/spark/README.md") textFile.count() 读取HDFS文件 textFile=sc.textFil...

Hadoop学习笔记-HDFS命令

进入 $HADOOP/bin 一.文件操作 文件操作 类似于正常的linux操作前面加上“hdfs dfs -” 前缀也可以写成hadoop而不用hdfs,但终端中显示 Use of this script to execute hdfs command is deprecated.Instead use the hdfs command for it....

大数据实时计算引擎 Flink

数据来源:系统中可以采集到的数据,如用户数据、业务数据等,也包含系统运行时产生的日志数据等。 数据采集:不同数据源生成数据类型格式存在差异,在数据采集前可能增加数据总线(如京东JBus)对业务进行解耦,Sqoop和Flume是常用的数据采集工具。 Sqoop:用于和关系型数据库进行交互,使用SQL语句在Hadoop和关系型数据库间传送数据,Sqoop...