HDFS的java接口

之前，我们学习的都是使用hadoop或hdfs的shell命令传送数据，这样使用不方便。

为此，我们可以使用HDFS的相关java接口，给hadoop里的hdfs传送数据

 

对开发者来说，不用关心内部实现细节。使用Hadoop内部工具类

package cn.itcast.hadoop.hdfs;

import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import java.net.URISyntaxException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.junit.Before;
import org.junit.Test;

public class HDFSDemo {

    FileSystem fs = null;
    
    @Before
    public void init() throws IOException, URISyntaxException, InterruptedException
    {
        //首先创建FileSystem的实现类（工具类）
        fs = FileSystem.get(new URI("hdfs://itcast01:9000"), new Configuration(), "root");
    }
    
    @Test
    public void testUpload() throws Exception
    {
        //读取本地文件系统的文件，返回输入流
        FileInputStream in = new FileInputStream("e://example.jar");
        //在HDFS上创建一个文件，返回输出流
        OutputStream out = fs.create(new Path("/test.jar"));
        //输入->输出
        IOUtils.copyBytes(in, out, 4096, true);
    }
    
    @Test
    public void testDownload() throws IllegalArgumentException, IOException
    {    //下载文件
        fs.copyToLocalFile(new Path("/jdk1.7"), new Path("d://jkd111"));
    }
    @Test
    public void testMkdir() throws Exception, IOException
    {    //创建目录
        boolean mkdirs = fs.mkdirs(new Path("/itcast0106"));
        System.out.println(mkdirs);
    }
    
    
    @Test
    public void testDel() throws Exception
    {   //删除文件或删除目录
        boolean flag = fs.delete(new Path("/itcast0106"), true);
        System.out.println(flag);
    }
    
    public static void main(String[] args) throws IOException, URISyntaxException {
        // TODO Auto-generated method stub
        FileSystem fs = FileSystem.get(new URI("hdfs://itcast01:9000"), new Configuration());
        InputStream in = fs.open(new Path("/jdk1.7"));
        OutputStream out = new FileOutputStream("d://jkd1.7");
        IOUtils.copyBytes(in, out, 4096, true);
    }

}