Hadoop HDFS命令行操作

摘要:
不同之处在于本地文件hdfsdfs从Localtest移动。txt/iput/6在移动后被删除。get命令将HDFS系统中的文件下载到本地。

1、列出所有命令

hdfs dfs -help

Hadoop HDFS命令行操作第1张

2、查看某个一个命令的详细

hdfs dfs -help -put

Hadoop HDFS命令行操作第2张

3、ls 查看HDFS系统中文件和目录,例如查看根目录

hdfs dfs -ls /

Hadoop HDFS命令行操作第3张

 列出所有目录和文件

hdfs dfs -ls -R /

Hadoop HDFS命令行操作第4张

 4、put 将本地文件上传道HDFS系统中

hdfs dfs -put test.txt /input/

Hadoop HDFS命令行操作第5张

 5、moveFromLocal 命令将本地文件移动到HDFS系统中,可以移动多个文件,与put命令类似,不同的是移动后删除本地文件

hdfs dfs -moveFromLocal test.txt /iput/

 6、get 命令将HDFS系统中的文件下载到本地,下载时本地不能有同名文件,否则会提示文件已存在(确保本地存在写入权限)

hdfs dfs -get /input/test.txt   test1.txt

Hadoop HDFS命令行操作第6张

 下载整个目录

hdfs dfs -get /input/  ./

Hadoop HDFS命令行操作第7张

7、rm 删除HDFS系统的文件或者文件夹

删除指定文件
hdfs dfs -rm /input/test.txt
递归删除input目录以及改目录下全部内容
hdfs dfs -rm -r  /input

 8、mkdir 在HDFS系统中创建文件夹

hdfs dfs -mkdir /input/
创建多级目录(自动创建父级不存在的目录)
hdfs dfs -mkdir -P /input/test

 9、cp 复制文件(备份文件)

hdfs dfs -cp /input/test.txt /input/1.txt

10、move 移动文件(重命名)

hdfs dfs -move /input/test.txt /input/1.txt

11、appendToFile 将本地单个文件或多个文件追加到HDFS系统的文件中

hdfs dfs -appendToFile test1.txt  /input/test.txt

Hadoop HDFS命令行操作第8张

  如果需要追加多个文件,用空格隔开

hdfs dfs -appendToFile test1.txt  test2.txt  /input/test.txt 

12、cat 查看HDFS系统中的所有内容

hdfs dfs -cat /input/test.txt

Hadoop HDFS命令行操作第9张

 查看多个文件,显示的内容按顺序合并

hdfs dfs -cat /input/test.txt /input/README.txt

Hadoop HDFS命令行操作第10张

NameNode
hadoop-daemon.sh start namenode
hadoop-daemon.sh stop namenode
DataNode
hadoop-daemon.sh start datanode
hadoop-daemon.sh stop datanode

resourcemanager
yarn-daemon.sh start resourcemanager
yarn-daemon.sh stop resourcemanager

nodemanager
yarn-daemon.sh start nodemanager
yarn-daemon.sh stop nodemanager
journalnode 集群命令 hadoop-daemon.sh start journalnode hadoop-daemon.sh stop journalnode ZKFC hadoop-daemon.sh start zkfc hadoop-daemon.sh stot zkfc zookeeper: zkServer.sh start 启动 zkServer.sh stop 停止 zkServer.sh status 查看状态 leader follwer

免责声明:文章转载自《Hadoop HDFS命令行操作》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇Redis开启AOF导致的删库事件RabbitMQ安装配置下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

开发时javascript 文件调试 chrome 浏览器本地缓存处理

chrome 浏览器 javascript 文件缓存处理 调试一体项目时,js文件需要经常刷新,通过强制刷新全页面重新加载是非常恶心的,我们测试填写的很多数据都需要重新填一遍,当然我们可以写个函数快速填充数据,但是还是不够通用。 尽管我们在新的标签页面请求js,发现js文件已经刷新了。但是当前页面使用的js还是没变...... 解决方案 在开发者模式下停用...

JConsole远程配置

JConsole是JDK自带的内存监控工具 1、linux配置tomcat-9.x      修改setenv.sh文件(默认没有的,需自己创建),增加配置: #!/bin/sh JAVA_HOME=/usr/local/jdk1.8.0_221/ CATALINA_OPTS="$CATALINA_OPTS -Djava.rmi.server.host...

Hessian反序列化RCE漏洞

Hessian反序列化RCE漏洞 靶机搭建 安装java 安装tomcat 部署Hessianhttps://raw.githubusercontent.com/21superman/Hessian-Deserialize-RCE/master/HessianTest.war 访问:http://192.168.31.36:8080//HessianTe...

oracle-gi安装

############################################### 在cs6.5,cs7.2上安装grid11.2.0.1 和database11.2.0.1还是有问题 1.i386与i686的问题 2.cs7.2中的semmni内核参数问题  已经设置了kernel.sem = 250 32000 100 128这四个值,但安...

Redmine:CKEditor插件安装

下载CKEditor插件:https://github.com/ebrahim/redmine_ckeditor; 解压到{Redmine安装目录}\apps\redmine\htdocs\vendor\plugins下,目录改名为redmine_ckeditor; 安装插件时保证Redmine在运行状态,有些插件安装时要访问MySql(例如CodeRe...

如何快速把ps序列图层建立帧动画?

工具ps 1.将序列帧图片载入ps 新建-》脚本-》将文件载入堆栈 2.制作序列帧动画 窗口-》时间轴-》时间轴面板右上角菜单-》从图层建立帧 3.去除多余的透明画布 全选图层-》图像-》剪裁-》基于透明 4.将图层保存到图片 文件-》脚本-》将图层保存为文件 隐藏白色背景 5.导出一张序列帧图 文件-》自动-》联系表 6.存储为 png...