Hadoop基础-HDFS数据清理过程之校验过程代码分析

摘要：

否则，将追究法律责任。作为一名高级大数据开发工程师，你不仅需要了解hadoop的内部运行机制，还需要掌握hadoop编写过程中的消息分析。为了掌握这三项技能，我们可以练习HDFS的编写过程，并学习几行代码如何帮助我们在其内部实现数据传输。1、想法代码调试简介1˃。编写测试代码1/*2@author：尹正杰3日志：http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/4EMAIL:y1053419035@qq.com5*/6packagecn.org.yinzhengjie。hdfs；78 importorg.apache.hadoop.conf.Configuration；9importorg.apach.hadoop.fs。FSDataOutputStream；10importorg.apach.hadoop.fs。文件系统；11importorg.apach.hadoop.fs。路径12进口。欠条；1314导入java.io。文件输入流；15导入java.io。IOException；1617publicclassWriterToHdfs｛18publicstaticvoidmaintrowsIOException｛19//将访问hdfs的用户名设置为“yinzhengjie”20System.setProperty；21Configurationconf=newConfiguration（）；22FileSystemfs=FileSystem.get；23//定义要在hdfs中写入的路径。不要忘记将core-site.xml文件放在resources目录中！然后检查大小应为“7+4x2=15”即校验和为15字节，

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

　　想称为一名高级大数据开发工程师，不但需要了解hadoop内部的运行机制，还需要掌握hadoop在写入过程中的报文分析。当然代码的调试步骤是一个开发必须得会的技能！想要掌握这三个技能，我们就可以拿HDFS写入过程来练练手，了解一下平时就几行的代码在它的内部是如何帮我们实现数据传输的。

一.Idea代码调试简介

1>.编写测试代码

 1 /*
 2 @author :yinzhengjie
 3 Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E8%BF%9B%E9%98%B6%E4%B9%8B%E8%B7%AF/
 4 EMAIL:y1053419035@qq.com
 5 */
 6 package cn.org.yinzhengjie.hdfs;
 7 
 8 import org.apache.hadoop.conf.Configuration;
 9 import org.apache.hadoop.fs.FSDataOutputStream;
10 import org.apache.hadoop.fs.FileSystem;
11 import org.apache.hadoop.fs.Path;
12 import org.apache.hadoop.io.IOUtils;
13 
14 import java.io.FileInputStream;
15 import java.io.IOException;
16 
17 public class WriterToHdfs {
18     public static void main(String[] args) throws IOException {
19         //设置访问hdfs的用户名为“yinzhengjie”
20         System.setProperty("HADOOP_USER_NAME","yinzhengjie");
21         Configuration conf = new Configuration();
22         FileSystem fs = FileSystem.get(conf);
23         //定义需要在hdfs中写入的路径,别忘记把core-site.xml文件放在resources目录下哟！并fs.defaultFS的值设置为"hdfs://s101:8020"
24         Path p = new Path("/yinzhengjie.sql");
25         //通过fs对象create方法创建一个输出流，第一个参数是hdfs路径，第二个参数表示当hdfs中存在时是否覆盖
26         FSDataOutputStream fos = fs.create(p,true);
27         FileInputStream fis = new FileInputStream("D:\10.Java\IDE\yhinzhengjieData\MyHadoop\yinzhengjie.sql");
28         //通过hadoop提供的IOUtils工具类对拷数据
29         IOUtils.copyBytes(fis,fos,1024);
30         fis.close();
31         fos.close();
32     }
33 }