zoukankan      html  css  js  c++  java
  • Hadoop的Archive归档命令使用指南

    hadoop不适合小文件的存储,小文件本省就占用了很多的metadata,就会造成namenode越来越大。Hadoop Archives的出现视为了缓解大量小文件消耗namenode内存的问题。

    采用ARCHIVE 不会减少 文件存储大小,只会压缩NAMENODE 的空间使用

    1.单文件打包

    hadoop archive -archiveName weibotest2014.har -p /crawler/weibo/2014-06-26 /crawler/weibo/

    2.多文件夹打包

    hadoop archive -archiveName weibotest2014.har -p /crawler/weibo/ 2014-06-26 2014-06-27 /crawler/weibo/

    3.匹配打包

    hadoop archive -archiveName weibotest2014.har -p /crawler/weibo/ 2014-06* /crawler/weibo/

    4.解压

    hadoop distcp har:////crawler/weibo/weibotest2014.har /crawler/weibo/

    5.查看文件夹大小

    hadoop fs -du -s /crawler/weibo/2014-06-28

    6.删除文件夹

    hadoop fs -rm -r /crawler/weibo/2014-06-28

  • 相关阅读:
    限制泛型可用类型
    泛型的常规用法(声明两个类型)
    一个类似于金字塔的图形
    Fibonacci数
    快来秒杀我
    奇偶数分离
    Background
    Financial Management
    HangOver
    Binary String Matching
  • 原文地址:https://www.cnblogs.com/lingwang3/p/10254913.html
Copyright © 2011-2022 走看看