zoukankan      html  css  js  c++  java
  • Hbase-04-hbck

    概述:

    HBaseFsck(hbck)是一个用于检查区域一致性和表完整性问题并修复损坏的HBase的工具。

    作用:

    1. HBase Region一致性

      • 集群中所有 region 都 被 assign,而且 deploy 到唯一一台RegionServer上
      • 该 region 的状态在内存中、hbase:meta 表中以及 zookeeper 这三个地方需要保持一致
    2. HBase 表完整性

      • 对于集群中任意一张表,每个rowkey都仅能存在于一个region区间

    常用命令:

    # hbck 帮助文档
    ./bin/hbase hbck -help 
    
    # 检查 HBase 集群是否损坏
    ./bin/hbase hbck
    
    # 只检测元数据表的状态
    ./bin/hbase hbck -metaonly 
    
    # 使用该 -details 选项将报告更多细节,包括所有表格中所有分割的代表性列表
    ./bin/hbase hbck –details
    
    # 以下命令只会尝试检查表 TableFoo 和 TableBar
    ./bin/hbase hbck TableFoo TableBar
    

    新版本的 hbck 可以修复各种错误,修复选项是:

    • -fix,向下兼容用,被-fixAssignments替代
    • -fixAssignments,用于修复region assignments错误
    • -fixMeta,用于修复meta表的问题,前提是HDFS上面的region info信息有并且正确。
    • -fixHdfsHoles,修复region holes(空洞,某个区间没有region)问题
    • -fixHdfsOrphans,修复Orphan region(hdfs上面没有.regioninfo的region)
    • -fixHdfsOverlaps,修复region overlap
    • s(区间重叠)问题
    • -fixVersionFile,修复缺失hbase.version文件的问题
    • -maxMerge (n默认是5),当region有重叠是,需要合并region,一次合并的region数最大不超过这个值。
    • -sidelineBigOverlaps ,当修复region overlaps问题时,允许跟其他region重叠次数最多的一些region不参与(修复后,可以把没有参与的数据通过bulk load加载到相应的region)
    • -maxOverlapsToSideline (n默认是2),当修复region overlaps问题时,一组里最多允许多少个region不参与 由于选项较多,所以有两个简写的选项
    • -repair,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps
    • -repairHoles,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans

    新版本的 hbck (经典案例)

    • 缺失hbase.version文件

      加上选项 -fixVersionFile 解决

    • 如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中

      加上选项 -fixAssignments 解决

    • 如果一个region在META表中,并且在regionserver的online region集合中,但是在hdfs上面没有

      加上选项 -fixAssignments -fixMeta 解决,( -fixAssignments告诉regionserver close region),( -fixMeta删除META表中region的记录)

    • 如果一个region在META表中没有记录,没有被regionserver服务,但是在hdfs上面有

      加上选项 -fixMeta -fixAssignments 解决,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录)

    • 如果一个region在META表中没有记录,在hdfs上面有,被regionserver服务了

      加上选项 -fixMeta 解决,在META表中添加这个region的记录,先undeploy region,后assign

    • 如果一个region在META表中有记录,但是在hdfs上面没有,并且没有被regionserver服务

      加上选项 -fixMeta 解决,删除META表中的记录

    • 如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region没有被服务

      加上选项 -fixAssignments 解决,assign这个region

    • 如果一个region在META表中有记录,在hdfs上面也有,table是disabled的,但是这个region被某个regionserver服务了

      加上选项 -fixAssignments 解决,undeploy这个region

    • 如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region被多个regionserver服务了

      加上选项 -fixAssignments 解决,通知所有regionserver close region,然后assign region

    • 如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符

      加上选项 -fixAssignments 解决

    • region holes 需要加上 -fixHdfsHoles ,创建一个新的空region,填补空洞,但是不assign 这个 region,也不在META表中

      加这个region的相关信息

    • region在hdfs上面没有.regioninfo文件

      -fixHdfsOrphans 解决

    • region overlaps

      需要加上 -fixHdfsOverlaps

    说明:

    • 修复region holes时,-fixHdfsHoles 选项只是创建了一个新的空region,填补上了这个区间,还需要加上-fixAssignments -fixMeta 来解决问题,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录),所以有了组合拳 -repairHoles 修复region holes,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans
    • -fixAssignments,用于修复region没有assign、不应该assign、assign了多次的问题
    • -fixMeta,如果hdfs上面没有,那么从META表中删除相应的记录,如果hdfs上面有,在META表中添加上相应的记录信息
    • -repair 打开所有的修复选项,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps

    注意:

    一般fix命令执行的时间与你的集群存储大小和region个数相关,请耐心等待。不要kill掉正在执行的fix命令,以免已发其他问题。

    在生产环境中,应当经常运行hbck,以便及早发现不一致问题并更容易地解决问题。

    Hbase 还提供了Hbck2工具 https://github.com/apache/hbase-operator-tools/tree/master/hbase-hbck2

    $ hbase hbck -j /path/to/HBCK2.jar
    

    参考:

    https://blog.csdn.net/liliwei0213/article/details/53639275

    https://lihuimintu.github.io/2019/06/17/HBase-HBCK/

    https://bbs.huaweicloud.com/blogs/180563

    不要小瞧女程序员
  • 相关阅读:
    冲突域和广播域的区分
    internet 的一词多义
    大神洗礼第四讲——函数相关及编程技巧
    旋转字符串算法由浅入深
    一个交换程序的通用版本
    想起一些事情,都很遥远
    [转载]创业感想
    [转载]javascript小技巧
    [转载]在Asp.Net 2.0中应用DataFormatString
    [转载]C#的String.Format格式化举例
  • 原文地址:https://www.cnblogs.com/shix0909/p/15038839.html
Copyright © 2011-2022 走看看