zoukankan      html  css  js  c++  java
  • 如果清空Isilon cluster上的文件,Shadow Store和data reduction的统计信息也会一并清空么?

    【声明:数据安全无比重要,清空数据的动作很危险,本文操作属研究兴趣使然,请读者不要模仿】


    我们都知道Isilon在inline dedupe和post dedupe之后,会把重复的8K的blocks都会放在shadow store中,今天我想到一个问题:如果我们把cluster上的文件删光了,那么shadow store的文件何时会被清空?data reduction的统计信息也会被清空么?如果不能,那么怎么做才能更新shadow store,并且让isilon的统计信息跟当前存储的数据相一致呢?


    答案应该是否定的,Shadow Store的信息更新是由Job engine里的job来更新的。而且,data-reduction的统计信息是根据shadow store的信息来计算的,所以,如果shadow store的信息不更新,那么data-reduction的信息就也不会更新了。


    来看看验证过程:

    当拷贝大量数据的时候,这个统计信息差个百分之二三十,我们也很难分辨,所以,干脆试试清空数据,那么统计数据是否跟数据情况相符就一目了然了。


    当前这个Isilon cluster的shadow store的统计信息如下:

    image


    数据压缩和消重的统计信息如下:

    image


    使用下面的命令来快速批量删除cluster上的目录及目录里的文件:

    # isi job jobs start treedelete --paths /ifs/dir1 --paths /ifs/dir2 --policy=HIGH


    这个job运行结束之后,再运行下面两个job:

    • ShadowStoreProtect - Frees up space that is associated with shadow stores. Shadow stores are hidden files that are referenced by cloned and deduplicated files.
    • ShadowStoreDelete - Protects shadow stores that are referenced by a logical i-node (LIN) with a higher level of protection.

    job report的记录如下:

    image

    注意,这里的tree delete job 失败并不是说文件没清空,而是这两个文件夹上建立了smart quota,job虽然失败了,但也仅仅是这两个目录删不掉而已。


    再看看统计信息:

    Shadow Store的统计信息已经更新了。

    image


    Data reduction 的统计信息也已更新如下:

    image


    注意,这里/ifs下已经没有任何的用户文件了,这里的739.31MB的logical data,都是系统文件。


    参考资料

    ============

    System jobs library

    http://doc.isilon.com/onefs/8.1.1/help/en-us/ifs_r_system_jobs_library.html

  • 相关阅读:
    深入探索 高效的Java异常处理框架
    Java多线程调试如何完成信息输出处理
    WebKit学习资源
    WebKit阅读起步
    Redis学习资源
    webkit在vs2008中编译
    【转】推荐几本学习MySQL的好书-MySQL 深入的书籍
    Mysql: 开启慢查询日志[ERROR] unknown variable 'log-slow-queries'处理办法
    Linux top命令详解
    eclipse svn同步过滤掉某些不需要同步的文件
  • 原文地址:https://www.cnblogs.com/awpatp/p/13198362.html
Copyright © 2011-2022 走看看