HDFS的Java客户端操作代码(查看HDFS下的文件是否存在)

摘要:
1.查看HDFS目录下得文件是否存在1packageHdfs;23importjava.io.IOException;4importjava.net.URI;5importorg.apache.hadoop.conf.Configuration;6importorg.apache.hadoop.fs.FileSystem;7importorg.apache.hadoop.fs.Path;89pub

1.查看HDFS目录下得文件是否存在

1 packageHdfs;
2 
3 importjava.io.IOException;
4 importjava.net.URI;
5 importorg.apache.hadoop.conf.Configuration;
6 importorg.apache.hadoop.fs.FileSystem;
7 importorg.apache.hadoop.fs.Path;
8 
9 public classCheckFileExist {
10     public static voidmain(String[] args) {
11         String uri = "hdfs://neusoft-master:9000/user/root/test1";
12         Configuration conf = newConfiguration();
13         try{
14             FileSystem fs =FileSystem.get(URI.create(uri), conf);
15             Path delPath = newPath(uri);
16             boolean isExists =fs.exists(delPath);
17 System.out.println(isExists);
18         } catch(IOException e) {
19 e.printStackTrace();
20 }
21 }
22 
23 }
HDFS查看文件是否存在

2.打包jar运行并显示结果

[root@neusoft-master hadoop]# hadoop jar /usr/local/software/JarCheckFileExist.jar

HDFS的Java客户端操作代码(查看HDFS下的文件是否存在)第1张

3.验证结果

[root@neusoft-master hadoop]# hadoop dfs -ls /user/root/

HDFS的Java客户端操作代码(查看HDFS下的文件是否存在)第2张

免责声明:文章转载自《HDFS的Java客户端操作代码(查看HDFS下的文件是否存在)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇c++ string 的函数replace()用法jquery控制Request Payload和Form Data下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

启动secondarynamenode时报错

环境: mac系统 + hadoop2.6.0-cdh5.7.0伪分布式 问题一: 在启动hdfs的secondarynamenode时,报错。 正常情况: sumengdeMacBook-Pro:sbin sumeng$ ./start-dfs.sh 18/06/11 21:35:00 WARN util.NativeCodeLoader: Unable...

Hadoop平台基本组成

1、Hadoop系统运行于一个由普通商用服务器组成的计算集群上,能提供大规模分布式数据存储资源的同时,也提供了大规模的并行化计算资源。 2、Hadoop生态系统 3、MapReduce并行计算框架     MapReduce并行计算框架是一个并行化程序执行系统。它提供了一个包含Map和Reduce两个阶段的并行处理模型和过程,提供了一个并行化编程模型和接...

可用于Hadoop下的ETL工具——Kettle

看大家分享了好多hadoop相关的一些内容,我为大家介绍一款ETL工具——Kettle。    Kettle是pentaho公司开源的一款ETL工具,跟hadoop一样,也是java实现,其目的就是做数据整合中时数据的抽取(Extract)、转换(Transformat)、加载(Load)工作。Kettle中有两种脚本文件,transformation和j...

Flink on Yarn运行机制

从图中可以看出,Yarn的客户端需要获取hadoop的配置信息,连接Yarn的ResourceManager。所以要有设置有 YARN_CONF_DIR或者HADOOP_CONF_DIR或者HADOOP_CONF_PATH,只要设置了其中一个环境变量,就会被读取。如果读取上述的变量失败了,那么将会选择hadoop_home的环境变量,都区成功将会尝试加载...

初识大数据(三. Hadoop与MPP数据仓库)

  MPP代表大规模并行处理,这是网格计算中所有单独节点参与协调计算的方法。 是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果。 MPP DBMS是建立在这种方法之上的数据库管理系统。在这些系统中的每个查询都会被分解为由MPP网格的节点并行执行的一组协调进程,它们的运行时间比传统的SMP RDBMS系...

Hbase介绍及操作

1. Hbase概述 1.1 Hbase是什么 HBase是建立在HDFS之上的分布式面向列的数据库;属于KV结构数据,原生不支持标准SQL。它是一个Apache的开源项目,是横向扩展的。 HBase可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统(HDFS)提供的容错能力。 HBase不同于一般的关系数据库,它是一个适合于非结构化数据...