HDFS的Java客户端操作代码(查看HDFS下所有的文件或目录)

摘要:
1.查看HDFS下所有的文件或目录1packageHdfs;23importjava.io.IOException;4importjava.net.URI;5importorg.apache.hadoop.conf.Configuration;6importorg.apache.hadoop.fs.FileStatus;7importorg.apache.hadoop.fs.FileSystem;

1.查看HDFS下所有的文件或目录

1 packageHdfs;
2 
3 importjava.io.IOException;
4 importjava.net.URI;
5 importorg.apache.hadoop.conf.Configuration;
6 importorg.apache.hadoop.fs.FileStatus;
7 importorg.apache.hadoop.fs.FileSystem;
8 importorg.apache.hadoop.fs.Path;
9 
10 public classListFiles {
11     public static voidmain(String[] args) {
12         String uri = "hdfs://neusoft-master:9000/user";
13         Configuration conf = newConfiguration();
14         try{
15             FileSystem fs =FileSystem.get(URI.create(uri), conf);
16             Path Path = newPath(uri);
17             FileStatus[] status =fs.listStatus(Path);
18             for (int i = 0; i < status.length; i++) {
19 System.out.println(status[i].getPath().toString());
20 }
21 fs.close();
22         } catch(IOException e) {
23 e.printStackTrace();
24 }
25 }
26 }
查看HDFS下所有的文件

2.提交jar文件并查看结果

[root@neusoft-master hadoop]# hadoop jar /usr/local/software/JarListFiles.jar

HDFS的Java客户端操作代码(查看HDFS下所有的文件或目录)第1张

3.验证上述结果~

HDFS的Java客户端操作代码(查看HDFS下所有的文件或目录)第2张

免责声明:文章转载自《HDFS的Java客户端操作代码(查看HDFS下所有的文件或目录)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇PHP 出现 502 解决方案第一课——从main到WinMain下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

启动secondarynamenode时报错

环境: mac系统 + hadoop2.6.0-cdh5.7.0伪分布式 问题一: 在启动hdfs的secondarynamenode时,报错。 正常情况: sumengdeMacBook-Pro:sbin sumeng$ ./start-dfs.sh 18/06/11 21:35:00 WARN util.NativeCodeLoader: Unable...

Hive HMS Canary 时间较长异常分析

一、现象及异常 测试up1集群: create database 操作 200s 多一点。 # sudo -u hive hive --hiveconf hive.metastore.uris=thrift://10.197.1.141:9084 hive> create database wgtestdb_region3_1; OK Time ta...

[201020] Manjaro(KDE桌面环境)小白向完全安装教程(附Linux简要介绍)

本文并非网上常见的安装试错文,这一点还请读者大可放心。 本文力求做到手把手教学,尽量为系统安装过程中每个步骤给出截图并做出必要的说明。不过即便如此也难免有疏漏之处,到时还请读者自行咨询搜索引擎。在Linux的使用过程中一定会遇到各种各样的问题,搜索引擎永远是你最好的伴侣。 基础知识 不需这些知识,想要直接按步骤安装系统的读者可以直接跳过本节。 开始教程前首...

Java java httpclient4.5 进行http,https通过SSL安全验证跳过,封装接口请求 get,post(formdata,json)封装,文件上传下载

package api; import java.util.*; import java.net.URI; import org.apache.http.Consts; import org.apache.http.HttpEntity; import org.apache.http.HttpResponse; import org.apache.htt...

Spark 系列之环境搭建(一)

1. Java 安装 下载安装 jdk1.8: 1、解压: [root@bogon app]# pwd /home/hj/app [root@bogon app]# tar -zxvf jdk-8u261-linux-x64.tar.gz 2、配置 .bash_profile: export JAVA_HOME=/home/hj/app/jdk1.8.0...

webpack4+vue2+axios+vue-router的多页+单页混合应用框架

VUE2的单页应用框架有人分享了,多页应用框架也有人分享了,这里就分享一个单页和多页的混合应用框架吧,初现雏形,还有很多需要优化和改善的地方。。。 结尾有github地址。 项目结构 │ ├─build /* webpack的配置目录 */ │ ├─config.js...