HDFS常规操作-Hadoop（工作太忙，仅仅作为记录）

package hdfs;

import java.net.URI;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.BlockLocation;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hdfs.DistributedFileSystem;
import org.apache.hadoop.hdfs.protocol.DatanodeInfo;
import org.apache.hadoop.io.IOUtils;

/** hadoop Hdfs 常规操作 */
public class Hdfs {

    // 入口 main
    public static void main(String[] args) throws Exception {
        // 将本地文件上传至HDFS中
        // uploadFile();

        // 在HDFS上创建文件
        // createFile();

        // 在HDFS上创建文件夹目录
        // createDir();

        // 给HDFS上文件重新命名
        // fileRename();

        // 删除文件
        // deleteFile();

        // 读取文件内容
        // readFile();

        // 判断文件是否存在
        // isFileExists();

        // 查看文件状态和最后修改时间
        // fileLastModify();

        // 查看文件位置，查看文件块，在哪台机器上(datanode)
        // fileLocation();

        // DataNode列表
        // nodeList();

        // 上传单词文本文档到HDFS上
        // uploadWords();

        // 其他test
        // createDir2();
        // deleteFile2();
        // createEmptyFile();
        // deleteEmptyFile();
    }

    static FileSystem getFileSystem() throws Exception {
        // HDFS URI地址及端口号
        URI uri = new URI("hdfs://localhost:9000/");
        // 使用HDFS文件系统并提供服务器路径，端口号在core-site.xml中配置
        FileSystem fileSystem = FileSystem.get(uri, new Configuration());
        return fileSystem;
    }

    public static void uploadFile() throws Exception {

        FileSystem hdfs = getFileSystem();
        // 本地文件地址
        Path src = new Path("D:/data/SBSNTEST111.txt");
        // 文件在HDFS上存放的地址
        Path dst = new Path("/");
        FileStatus files[] = hdfs.listStatus(dst);
        for (FileStatus file : files) {
            System.out.println(file.getPath());
        }
        System.out.println("------------after upload--------------------");
        hdfs.copyFromLocalFile(src, dst);
        files = hdfs.listStatus(dst);
        for (FileStatus file : files) {
            System.out.println(file.getPath());
        }
        System.out.println("------------upload ok--------------------");

        // 将路径指定文件的内容输出到stdout
        // hadoop fs -cat hdfs://localhost:9000/SBSNTEST111.txt
        // 返回结果，文本文件内容

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        // Found 1 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
    }

    public static void createFile() throws Exception {

        byte[] buff = "Hello Hadoop 888@Chinasofti
".getBytes();
        FileSystem hdfs = getFileSystem();
        Path dfs = new Path("/testcreate");
        FSDataOutputStream outputStream = hdfs.create(dfs);
        outputStream.write(buff, 0, buff.length);
        outputStream.close();
        System.out.println("------------createFile ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        // Found 2 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate

        // 将路径指定文件的内容输出到stdout
        // hadoop fs -cat hdfs://localhost:9000/testcreate
        // 返回结果，文本文件内容
        // Hello Hadoop 888@Chinasofti
    }

    public static void createDir() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path dfs = new Path("/TestDir");
        hdfs.mkdirs(dfs);
        System.out.println("------------createDir ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 3 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //drwxr-xr-x   - jiangshan supergroup          0 2021-09-08 16:06 hdfs://localhost:9000/TestDir
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/TestDir
        // 返回结果为空
    }

    public static void fileRename() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path frpaht = new Path("/testcreate");//原文件名称
        Path topath = new Path("/testcreate2");//新文件名称
        boolean isRename = hdfs.rename(frpaht, topath);
        String result = isRename ? "成功" : "失败";
        System.out.println("文件重命名结果为：" + result);
        System.out.println("------------fileRename ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 3 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //drwxr-xr-x   - jiangshan supergroup          0 2021-09-08 16:06 hdfs://localhost:9000/TestDir
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate2

        // 将路径指定文件的内容输出到stdout
        // hadoop fs -cat hdfs://localhost:9000/testcreate2
        // 返回结果，文本文件内容
        // Hello Hadoop 888@Chinasofti
    }

    public static void deleteFile() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path delef = new Path("/TestDir");
        boolean isDeleted = hdfs.delete(delef, false);
        // 递归删除
        // boolean isDeleted=hdfs.delete(delef, true);
        System.out.println("Delete " + isDeleted);
        System.out.println("------------deleteFile ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 3 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //drwxr-xr-x   - jiangshan supergroup          0 2021-09-08 16:06 hdfs://localhost:9000/TestDir
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 2 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate

    }

    public static void readFile() throws Exception {
        FileSystem fileSystem = getFileSystem();
        FSDataInputStream openStream = fileSystem.open(new Path("/testcreate"));
        IOUtils.copyBytes(openStream, System.out, 1024, false);
        IOUtils.closeStream(openStream);
        System.out.println("------------readFile ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 2 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate

        // 将路径指定文件的内容输出到stdout
        // hadoop fs -cat hdfs://localhost:9000/testcreate
        // 返回结果，文本文件内容： Hello Hadoop 888@Chinasofti
    }

    public static void isFileExists() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path findf = new Path("/test1");
        boolean isExists = hdfs.exists(findf);
        System.out.println("Exist " + isExists);
        System.out.println("------------isFileExists ok--------------------");
        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 2 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate

    }

    public static void fileLastModify() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path fpath = new Path("/testcreate");
        FileStatus fileStatus = hdfs.getFileStatus(fpath);
        long modiTime = fileStatus.getModificationTime();
        System.out.println("testcreate的修改时间是" + modiTime);
        System.out.println("------------fileLastModify ok--------------------");
        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 2 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
    }

    public static void fileLocation() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path fpath = new Path("/testcreate");
        FileStatus filestatus = hdfs.getFileStatus(fpath);
        BlockLocation[] blkLocations = hdfs.getFileBlockLocations(filestatus,
                0, filestatus.getLen());
        int blockLen = blkLocations.length;
        for (int i = 0; i < blockLen; i++) {
            String[] hosts = blkLocations[i].getHosts();
            System.out.println("block_" + i + "_location:" + hosts[0]);
        }
        System.out.println("------------fileLocation ok--------------------");
        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 2 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
    }

    public static void nodeList() throws Exception {
        FileSystem fs = getFileSystem();
        DistributedFileSystem hdfs = (DistributedFileSystem) fs;

        DatanodeInfo[] dataNodeStats = hdfs.getDataNodeStats();
        for (int i = 0; i < dataNodeStats.length; i++) {
            System.out.println("DataNode_" + i + "_Name:"
                    + dataNodeStats[i].getHostName());
        }
        System.out.println("------------nodeList ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 2 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate

    }

    public static void uploadWords() throws Exception {

        FileSystem hdfs = getFileSystem();
        // 本地文件地址
        Path src = new Path("D:/data/words");
        // 文件在HDFS上存放的地址
        Path dst = new Path("/");
        FileStatus files[] = hdfs.listStatus(dst);
        for (FileStatus file : files) {
            System.out.println(file.getPath());
        }
        System.out.println("------------after upload--------------------");
        hdfs.copyFromLocalFile(src, dst);
        files = hdfs.listStatus(dst);
        for (FileStatus file : files) {
            System.out.println(file.getPath());
        }
        System.out.println("------------uploadWords ok--------------------");

        // 将路径指定文件的内容输出到stdout
        // hadoop fs -cat hdfs://localhost:9000/words
        // 返回结果，文本文件内容

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        // Found 3 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
        //-rw-r--r--   3 jiangshan supergroup  163254798 2021-09-08 16:56 hdfs://localhost:9000/words
    }

    public static void createDir2() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path dfs1 = new Path("/wordcount1");
        hdfs.mkdirs(dfs1);
        Path dfs2 = new Path("/wordcount2");
        hdfs.mkdirs(dfs2);
        System.out.println("------------createDir ok--------------------");

        // 将路径指定文件的内容输出到stdout
        // hadoop fs -cat hdfs://localhost:9000/words
        // 返回结果，文本文件内容

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        // Found 5 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
        //drwxr-xr-x   - jiangshan supergroup          0 2021-09-08 19:21 hdfs://localhost:9000/wordcount1
        //drwxr-xr-x   - jiangshan supergroup          0 2021-09-08 19:21 hdfs://localhost:9000/wordcount2
        //-rw-r--r--   3 jiangshan supergroup  163254798 2021-09-08 16:56 hdfs://localhost:9000/words
    }

    public static void deleteFile2() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path delef1 = new Path("/wordcount1");
        // boolean isDeleted1 = hdfs.delete(delef1, false);
        // 递归删除
         boolean isDeleted1 = hdfs.delete(delef1, true);
        System.out.println("Delete " + isDeleted1);

        Path delef2 = new Path("/wordcount2");
        // boolean isDeleted2 = hdfs.delete(delef2, false);
        // 递归删除
         boolean isDeleted2 = hdfs.delete(delef2, true);
        System.out.println("Delete " + isDeleted2);
        System.out.println("------------deleteFile ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //

    }

    public static void createEmptyFile() throws Exception {

        byte[] buff = "".getBytes();
        FileSystem hdfs = getFileSystem();
        Path dfs = new Path("/wordcountout");
        FSDataOutputStream outputStream = hdfs.create(dfs);
        outputStream.write(buff, 0, buff.length);
        outputStream.close();
        System.out.println("------------createEmptyFile ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //Found 4 items
        //-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
        //-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate
        //-rw-r--r--   3 jiangshan supergroup          0 2021-09-08 20:17 hdfs://localhost:9000/wordcountout
        //-rw-r--r--   3 jiangshan supergroup  163254798 2021-09-08 16:56 hdfs://localhost:9000/words

        // 将路径指定文件的内容输出到stdout
        // hadoop fs -cat hdfs://localhost:9000/wordcountout
        // 返回结果，文本文件内容
        //
    }

    public static void deleteEmptyFile() throws Exception {
        FileSystem hdfs = getFileSystem();
        Path delef1 = new Path("/wordcountout");
         boolean isDeleted1 = hdfs.delete(delef1, false);
        // 递归删除
//        boolean isDeleted1 = hdfs.delete(delef1, true);
        System.out.println("Delete " + isDeleted1);
        System.out.println("------------deleteEmptyFile ok--------------------");

        // 查看指定路径文件
        // hadoop fs -ls hdfs://localhost:9000/
        // 返回结果，如下：
        //

    }

}

// 查看指定路径文件
// hadoop fs -ls hdfs://localhost:9000/
// 返回结果，如下：
//Found 3 items
//-rw-r--r--   3 jiangshan supergroup  573545760 2021-09-08 15:48 hdfs://localhost:9000/SBSNTEST111.txt
//drwxr-xr-x   - jiangshan supergroup          0 2021-09-08 16:06 hdfs://localhost:9000/TestDir
//-rw-r--r--   3 jiangshan supergroup         28 2021-09-08 16:01 hdfs://localhost:9000/testcreate

// 将路径指定文件的内容输出到stdout
// hadoop fs -cat hdfs://localhost:9000/testcreate
// 返回结果，文本文件内容
// Hello Hadoop 888@Chinasofti