zoukankan      html  css  js  c++  java
  • Hadoop之回收站

    一、回收站简介:

        在HDFS里,删除文件时,不会真正的删除,其实是放入回收站/trash,回收站里的文件可以快速恢复。

        可以设置一个时间阀值,当回收站里文件的存放时间超过这个阀值或是回收站被清空时,文件才会被彻底删除,并且释放占用的数据块。

    二、实例:

        Hadoop的回收站trash功能默认是关闭的,所以需要在core-site.xml中手动开启。

    1、修改core-site.xml,增加:

    <property> 
    <name>fs.trash.interval</name> 
    <value>1440</value> 
    <description>Number of minutes between trash checkpoints. 
    If zero, the trash feature is disabled. 
    </description> 
    </property>

    默认是0,单位是分钟,这里设置为1天。
    删除数据rm后,会将数据move到当前文件夹下的.Trash目录。

    2、测试

    1)、新建目录input

    hadoop/bin/hadoop fs -mkdir input

    2)、上传文件

    root@master:/data/soft# hadoop/bin/hadoop fs -copyFromLocal /data/soft/file0* input

    3)、删除目录input

    [root@master data]# hadoop fs -rmr input 
    Moved to trash: hdfs://master:9000/user/root/input

    4)、查看当前目录

    [root@master data]# hadoop fs -ls 
    Found 2 items 
    drwxr-xr-x - root supergroup 0 2011-02-12 22:17 /user/root/.Trash

    发现input删除了,多了一个目录.Trash
    5)、恢复刚刚删除的目录

    [root@master data]# hadoop fs -mv /user/root/.Trash/Current/user/root/input /user/root/input

    6)、查看恢复的数据

    [root@master data]# hadoop fs -ls input 
    Found 2 items 
    -rw-r--r-- 3 root supergroup 22 2011-02-12 17:40 /user/root/input/file01 
    -rw-r--r-- 3 root supergroup 28 2011-02-12 17:40 /user/root/input/file02

    7)、删除.Trash目录(清理垃圾)

    [root@master data]# hadoop fs -rmr .Trash 
    Deleted hdfs://master:9000/user/root/.Trash
  • 相关阅读:
    HDU 3572 Task Schedule(拆点+最大流dinic)
    POJ 1236 Network of Schools(Tarjan缩点)
    HDU 3605 Escape(状压+最大流)
    HDU 1166 敌兵布阵(分块)
    Leetcode 223 Rectangle Area
    Leetcode 219 Contains Duplicate II STL
    Leetcode 36 Valid Sudoku
    Leetcode 88 Merge Sorted Array STL
    Leetcode 160 Intersection of Two Linked Lists 单向链表
    Leetcode 111 Minimum Depth of Binary Tree 二叉树
  • 原文地址:https://www.cnblogs.com/Richardzhu/p/3652228.html
Copyright © 2011-2022 走看看