HDFS客户端操作

1、maven依赖

<dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>com.google.guava</groupId>
                    <artifactId>guava</artifactId>
                </exclusion>
            </exclusions>
            <version>3.1.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <exclusions>
                <exclusion>
                        <groupId>com.google.guava</groupId>
                        <artifactId>guava</artifactId>
                </exclusion>
            </exclusions>
            <version>3.1.4</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <exclusions>
                <exclusion>
                    <groupId>com.google.guava</groupId>
                    <artifactId>guava</artifactId>
                </exclusion>
            </exclusions>
            <version>3.1.4</version>
        </dependency>
        <!-- 版本选择应该和hadoop的sharehadoophdfslib目录下面的guava版本一致-->
        <dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>27.0-jre</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-auth</artifactId>
            <version>3.1.4</version>
        </dependency>
        <dependency>
            <groupId>jdk.tools</groupId>
            <artifactId>jdk.tools</artifactId>
            <version>1.8</version>
            <scope>system</scope>
            <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
        </dependency>

2、windowns10配置hadoop

（1）、镜像下载地址

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

（2）、 解压Hadoop镜像文件到磁盘目录下，注意：可以解压在非C盘下，存储目录不要包含中文和空格

（3）、 配置HADOOP_HOME环境变量，并在系统环境变量Path中添加Hadoop环境变量

（4）、打开cmd窗口，输入hadoop version命令验证

（5）、在githubs行将hadoop.dll和winutils.exe拷贝到hadoop的安装的bin目录下

github地址：https://github.com/steveloughran/winutils/tree/master/hadoop-3.0.0/bin

 3、代码编写

public class TestHDFS {

    public static void main(String[] args) throws IOException, URISyntaxException, InterruptedException {
        Configuration configuration = new Configuration();
        //1、获取hdfs客户端 指定HDFS中NameNode的地址和操作用户
        FileSystem fs = FileSystem.get(new URI("hdfs://k8smaster:9000"),configuration,"root");
        //2、查看指定路径是否存在
        System.err.println(fs.exists(new Path("/home")));
        //3、创建路径
        System.err.println(fs.mkdirs(new Path("/test")));
        //3、释放资源
        fs.close();
        System.err.println("===============执行完成============");
    }
}

4、结果验证