zoukankan      html  css  js  c++  java
  • HBASE文件太大,磁盘空间不足,清楚日志oldWALs

    版本信息

    Hadoop: 3.0.0-cdh6.3.2

    hbase : 2.1.0-cdh6.3.2

    当/hbase/WALs中的HLog文件被持久化到存储文件中,且这些Hlog日志文件不再被需要时,就会被转移到{hbase.rootdir}/oldWALs目录下,该目录由HMaster上的定时任务负责定期清理。

    网上说了很多方法,类似改配置文件会自动清除,我做了,但不管用。

    我用的这个版本的文件,直接删除,很方便

    查看磁盘空间:

    [hbase@cdh01 ~]$ df -lTH
    Filesystem Type Size Used Avail Use% Mounted on
    /dev/vda1 ext4 32G 18G 14G 57% /
    此时可用空间为14G

    查看oldWALs大小:

    [root@cdh01 ~]# hadoop fs -du -h hdfs://172.18.10.90:8020/opt/hbase/
    14.3 K 34.2 K hdfs://172.18.10.90:8020/opt/hbase/.hbase-snapshot
    20.1 G 20.1 G hdfs://172.18.10.90:8020/opt/hbase/oldWALs
    0 0 hdfs://172.18.10.90:8020/opt/hbase/staging

    发现oldWALs有20G

    清除oldWALs

    [root@cdh01 ~]# hadoop fs -rm -f hdfs://172.18.10.90:8020/opt/hbase/oldWALs/*

    21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.cdh01%2C16020%2C1610089452456.regiongroup-0.1610089462374
    21/01/08 15:22:25 INFO fs.TrashPolicyDefault: Moved: 'hdfs://172.18.10.90:8020/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta' to trash at: hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/cdh01%2C16020%2C1610089452456.meta.1610089462785.meta

    看打印出来的信息提示说,移动到 hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs 这个目录下面了,相当于windows的垃圾桶

    那就在把他删除

    hadoop fs -rm -f hdfs://172.18.10.90:8020/user/root/.Trash/Current/opt/hbase/oldWALs/*

    再查看一下磁盘空间(可能要等一会才会刷新):

    [root@cdh01 ~]# df -lTH
    Filesystem Type Size Used Avail Use% Mounted on
    /dev/mapper/vg_data-lvm_data ext4 74G 35G 36G 50% /opt

    完成!

  • 相关阅读:
    SQLAlchemy(2):多表操作 & 连接方式及原生SQL
    SQLAlchemy(1):单表操作
    requests模块发送POST请求
    Flask(4):wtforms组件 & 数据库连接池 DBUtils
    爬虫(1):requests模块
    socketserver模块使用 & websocket
    Flask基础(3):session、flash、特殊装饰器、蓝图、路由正则匹配、上下文管理 & flask-session
    MySQL:视图、触发器、存储过程、事务
    UICollectionViewLayout
    iOS7自定义statusbar和navigationbar的若干问题
  • 原文地址:https://www.cnblogs.com/thirteen-yang/p/14252243.html
Copyright © 2011-2022 走看看