zoukankan      html  css  js  c++  java
  • HDFS的Java操作

    实验环境:

    Windows 10

    Eclipse Mars.2 Release (4.5.2) 

    CentOS 7

    Hadoop-2.7.3

    先决条件:

      1) Windows上各环境变量已配置OK.  如: PATH, HADOOP_HOME;

          2) 与Hadoop版本及Windows平台(x86或x64)对应的 hadoop.dll, winutils.exe工具已配置OK.

    1.新建Java项目,如图:

    2.导入外部JAR包,即HDFS jar包:

    3.Java代码:

    package hdfsutil;
    
    
    
    import java.net.URI;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    
    
    
    public class HdfsUtil {
        public static void main(String[] args) throws Exception {
            
            //构造一个配置参数的封装对象
            Configuration conf = new Configuration();
            //conf中会有一个参数: fs.defaultFS的默认值是file:/// 指本地文件系统URI
    //        conf.set("fs.defaultFS", "hdfs://192.168.80.128:9000");
            
            //构造一个HDFS的客户端
    //        FileSystem fs = FileSystem.get(conf);
            
            FileSystem  fs = FileSystem.get(new URI("hdfs://192.168.80.128:9000"), conf, "hadoop");
            
            //用hdfs的文件系统的客户端对象fs来操作文件,比如上传一个文件
            fs.copyFromLocalFile(new Path("C:/file.txt"), new Path("/user/hadoop/input/file.txt.4"));
            
            //上传完毕后,关闭客户端
            fs.close();
        }
    }
  • 相关阅读:
    supervisor管理airflow
    airflow迁移
    flume部署
    canal原理&部署
    EMR日常操作
    linux的route
    autossh
    Velocity(5)——#macro 指令
    Git(1)----Eclipse安装Git插件
    Velocity(4)——引入指令和#Parse 指令
  • 原文地址:https://www.cnblogs.com/datapool/p/6129608.html
Copyright © 2011-2022 走看看