zoukankan      html  css  js  c++  java
  • IOUtils方式上传下载文件

    package com.css.hdfs04;
    
    import java.io.File;
    import java.io.FileInputStream;
    import java.io.FileOutputStream;
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FSDataInputStream;
    import org.apache.hadoop.fs.FSDataOutputStream;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.io.IOUtils;
    import org.junit.Before;
    import org.junit.Test;
    
    /**
     * IOUtils方式上传下载文件
     */
    public class HdfsIo {
        Configuration conf = null;
        FileSystem fs =null;
        @Before
        public void init() throws IOException, InterruptedException, URISyntaxException {
            // 1.加载配置
            conf = new Configuration();
            // 2.构造客户端
            fs = FileSystem.get(new URI("hdfs://192.168.146.132:9000/"), conf, "root");
        }
        
        /**
         * 文件上传HDFS
         */
        @Test
        public void putFileToHDFS() throws IllegalArgumentException, IOException{
            // 1.获取输入流
            FileInputStream fis = new FileInputStream(new File("c:/hello.txt"));
            // 2.获取输出流
            FSDataOutputStream fos = fs.create(new Path("/hello.txt"));
            // 3.流的拷贝
            IOUtils.copyBytes(fis, fos, conf);
            // 4.关闭资源
            IOUtils.closeStream(fis);
            IOUtils.closeStream(fos);
        }
        
        /**
         * 文件下载HDFS
         */
        @Test
        public void getFileFromHDFS() throws IllegalArgumentException, IOException{
            // 1.获取输入流
            FSDataInputStream fis = fs.open(new Path("/hello"));
            // 2.获取输出流
            FileOutputStream fos = new FileOutputStream(new File("c:/hello"));
            // 3.流的对拷
            IOUtils.copyBytes(fis, fos, conf);
            // 4.关闭资源
            IOUtils.closeStream(fis);
            IOUtils.closeStream(fos);
        }
    }

     

  • 相关阅读:
    票房和口碑称霸国庆档,用 Python 爬取猫眼评论区看看电影《我和我的家乡》到底有多牛
    用 Python 写个七夕表白神器
    3. GC复制算法
    一个粗糙的RPC框架设计思路
    503Service Unavailable
    centos 7.8下载地址
    海康摄像头SDK在Linux、windows下的兼容问题(二)已解决
    海康摄像头SDK在Linux、windows下的兼容问题
    二重指针
    【JavaScript 对象03】
  • 原文地址:https://www.cnblogs.com/areyouready/p/9795442.html
Copyright © 2011-2022 走看看