Linux中hadoop配置hdfs

摘要:
8.在Linux中输入启动hdfs的命令。首先,在hadoop的sbin中输入格式,其中一些启动服务成功启动。按如下所示输入jps命令,您可以看到以下正在运行的节点。9.您可以在Windows下查看浏览器中输入的IP地址,端口为50070。您可以查看以下界面中存储的文件目录,也可以下载

.前提是hadoop已经安装配置成功

2.主要是修改core-site.xml和hdfs-site.xml这两个配置文件

3.我使用的是notepad++连接Linux进行修改的

4.进入notepad++中查看目录找到这两个配置文件

Linux中hadoop配置hdfs第1张

5.首先要在Linux中建立存放name和data的文件

进入Linux输入命令如下

Linux中hadoop配置hdfs第2张

创建三个文件夹

6.编辑core-site.xml

开始为空

Linux中hadoop配置hdfs第3张

配置

  fs.defaultFS hadoop访问目录节点nameNode默认

  hadoop.tmp.dir Hadoop的临时存放目录

Linux中hadoop配置hdfs第4张

保存!!!!

7.编辑hdfs-site.xml

开始为空

Linux中hadoop配置hdfs第5张

配置

  dfs.namenode.name.dir NN存放元数据和日志位置

  dfs.datanode.data.dir 配置hdfs每个数据节点存放位置

  dfs.replication 配置系统自动数据备份数量为3份(默认是3份)伪分布设为1

  dfs.ha.automatic-failover.enabled 是否开启自动故障转移 false

Linux中hadoop配置hdfs第6张

保存!!!!

8.进入Linux输入命令启动hdfs

(1)首先格式化

Linux中hadoop配置hdfs第7张

(2)进入到hadoop的sbin中,其中有启动服务

Linux中hadoop配置hdfs第8张

(3)启动成功如下

Linux中hadoop配置hdfs第9张

(4)输入jps命令,可以看到以下已运行的结点

Linux中hadoop配置hdfs第10张

9.可以在Windows下查看

在浏览器输入自己的IP,端口为50070

Linux中hadoop配置hdfs第11张

有如下界面

Linux中hadoop配置hdfs第12张

可查看存放的文件目录,也可下载

Linux中hadoop配置hdfs第13张

免责声明:文章转载自《Linux中hadoop配置hdfs》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇将vim的UltiSnips的快捷键彻底从tab键中分离mysql日期加减下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

Linux中断信号的查看

中断号的查看可以使用下面的命令:“cat /proc/interrupts”。 中断号的查看也可以使用下面的命令:“cat /proc/stat” 记录了几个关于系统活动的低级统计量, 包括(但是不限于)自系统启动以来收到的中断数. stat 的每一行以一个文本字串开始, 是该行的关键词; intr 标志是我们在找的irq函数定义:/kernel/irq/...

虹软人脸识别——官方 Qt Demo 移植到 Linux

一、前言 最近需要在 Linux 平台下开发一个人脸识别相关的应用,用到了虹软的人脸识别 SDK。之前在 Windows 平台用过,感觉不错,SDK 里面还带了 Demo 可以快速看到效果。打开 Linux 版本的 SDK 里面没有发现 Demo,于是想着把 Windows 的 Demo 移植到 Linux。这篇文章记录了移植的过程,Linux 用的是 U...

visual studio 容器工具首次加载太慢 vsdbgvs2017u5 exists, deleting 的解决方案

========== 正在准备容器 ==========正在准备 Docker 容器... C:WindowsSystem32WindowsPowerShellv1.0powershell.exe -NonInteractive -NoProfile -WindowStyle Hidden -ExecutionPolicy RemoteSigned -Fi...

MongoDB在linux下的启动

     最近公司数据库用到MongoDB,而之前只关注知道它是分布式非关系数据库,数据以文档的形式存储,数据格式是类似json的bson格式.而对于具体用法以及java如何调用并没有过多接触,今天花费一天的时间了解了MongoDB在linux下的安装以及基本的命令行调用.    1. Linux下安装MongoDB     进入官网: https://d...

linux系统下获取cpu、硬盘、内存使用率

1.linux上安装snmp服务 第一步:在公司192.168.100.171 Linux虚拟机上安装snmp服务。 第二步:通过HOST-RESOURCES-MIB库中的节点获取对应的值。 第三步:只能通过:1.3.6.1.2.1.25.1.1.0节点对象获取到系统运行时间,无法获取到其他节点的值。 第四步:修改/etc/snmp/snmpd.conf文...

linux学习之-vsftp

一、简介   vsftp是一个基于GPL发布的类unix系统上使用的ftp服务器软件,它的全称是very secure FTP ,软件的编写初衷是为了代码的安全,另外高速与高稳定性也是vsftp的两个重要特性。 二、ftp服务的连接方式   ftp并不是只单一的支持一种工作模式,它可以支持主动模式(active ftp)和被动模式(passive ftp)...