zoukankan      html  css  js  c++  java
  • 【HDFS API编程】jUnit封装-改写创建文件夹

    首先:什么是jUnit  回顾: https://www.cnblogs.com/Liuyt-61/p/10374732.html

    上一节我们知道:

    /**
     * 使用Java API操作HDFS文件系统
     * 关键点:
     * 1)创建 Configuration
     * 2)获取 FileSystem
     * 3)...剩下的就是HDFS API的操作了
     */

    回顾:https://www.cnblogs.com/Liuyt-61/p/10737466.html

    先上代码:

     1 public class HDFSApp {
     2
     3     public static final String HDFS_PATH = "hdfs://hadoop000:8020";
     4     FileSystem fileSystem = null;
     5     Configuration configuration = null;
     6 
     7     @Before
     8     public void setUp() throws Exception{
     9         System.out.println("setUp-----------");
    10         configuration = new Configuration(); 12 
    13         /*
    14          * 构造一个访问制定HDFS系统的客户端对象
    15          * 第一个参数:HDFS的URI
    16          * 第二个参数:客户端制定的配置参数
    17          * 第三个参数:客户端的身份,说白了就是用户名
    18          */
    19         fileSystem = FileSystem.get(new URI(HDFS_PATH),configuration,"hadoop");
    20     }
    21 
    22     /*
    23      * 创建HDFS文件夹
    24      */
    25     @Test
    26     public void testMkdir() throws Exception{
    27         fileSystem.mkdirs(new Path("/hdfsapi/test"));
    28     }
    29 
    30     @After
    31     public void tearDown(){
    32         configuration = null;
    33         fileSystem = null;
    34         System.out.println("----------tearDown------");
    35     }
    36 
    37 }

    继续回顾,我们要使用Java API操作操作HDFS,需要①创建 Configuration ②获取 FileSystem,这俩操作按照逻辑理应放在了jUnit的@Before下,然后就在@Test下进行mkdir操作,最后再在@After下进行Configuration和FileSystem的置空操作即可。运行testMkdir测试即可。所有操作过程像上一回说的一样哪里不会Ctrl点哪里!

    此时我们可以通过终端控制台进行查看文件夹是否创建成功:



    当然也可以通过浏览器查看是否创建成功:输入 地址IP:50070 回车, 例如 192.168.42.110:50070 回车,
    进去点击Utilities下拉列表的Browse the fiel system,点Go!就能看到:

    点进去hdfsapi:

    操作成功。
  • 相关阅读:
    网络知识
    DXP 技巧和龙芯3A装机
    312-金胜维 P系列2.5寸 480G SATA3 SSD固态硬盘
    NVIDIA Jetson TK1 开发板
    NVIDIA Jetson™ TX1
    XILINX FPGA 开发板 XC3S250E 核心板 学习板+12模块
    AES-OZ745 OZ745 Zynq-7000 开发板与套件
    北京太速科技——海外代购
    AR/VR增强现实 虚拟现实,嵌入式解决方案探讨
    270-VC709E 增强版 基于FMC接口的Xilinx Vertex-7 FPGA V7 XC7VX690T PCIeX8 接口卡
  • 原文地址:https://www.cnblogs.com/Liuyt-61/p/10738194.html
Copyright © 2011-2022 走看看