zoukankan      html  css  js  c++  java
  • HDFS的垃圾回收机制

     

    hadoop hdfs 垃圾回收机制

    • 何为垃圾回收

      开启垃圾回收站 把删除的文件首先放置在回收站中 等待配置的时间结束 进行真正的数据删除

    • 如何开始
      vim core-site.xml

      <property>
      <name>fs.trash.interval</name>
      <value>1440</value>
      </property>
    • 把配置文件 scp给其他节点上
      scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml node-2:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/

      scp -r /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml node-3:/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/
    • 垃圾回收机制演示效果
      • 未开启
        [root@node-1 ~]# hadoop fs -rm /test/1.txt
        Deleted /test/1.txt
      • 开启
        hadoop fs -rm /test/1.txt
        19/07/18 16:18:17 INFO fs.TrashPolicyDefault: Moved: 'hdfs://node-1:8020/test/1.txt' to trash at: hdfs://node-1:8020/user/root/.Trash/Current/test/1.txt

        本质是把删除文件 首先移动一个指定的文件夹下面

      • 恢复删除的数据
        hadoop fs -mv /user/root/.Trash/Current/test/1.txt /test
      • 跳过垃圾回收 直接删除
        skipTrash 选项删除文件,该选项不会将文件发送到垃圾箱。它将从HDFS 中完全删除



  • 相关阅读:
    事务的基本特性和隔离级别
    mysql锁的类型
    索引设计的原则
    mysql聚簇索引和非聚簇索引的区别
    spring事务什么时候会失效?
    spring事务传播机制
    GAN的Pytorch实现
    DCGAN的Pytorch实现
    PyTorch学习教程、手册
    去噪论文合集Paper
  • 原文地址:https://www.cnblogs.com/TiePiHeTao/p/11503958.html
Copyright © 2011-2022 走看看