zoukankan      html  css  js  c++  java
  • hbase 在线修复集群命令

    前提:HDFS fsck确保hbase根目录下文件没有损坏丢失,如果有,则先进行corrupt block移除。
    切记:一定要在所有Region都上线之后再修复,否则修复之后可能出现重复Region。
    
    步骤1. hbase hbck 检查输出所有ERROR信息,每个ERROR都会说明错误信息。
    步骤2. hbase hbck -fixTableOrphans 先修复tableinfo缺失问题,根据内存cache或者hdfs table 目录结构,重新生成tableinfo文件。
    步骤3. hbase hbck -fixHdfsOrphans 修复regioninfo缺失问题,根据region目录下的hfile重新生成regioninfo文件。
    步骤4. hbase hbck -fixHdfsOverlaps 修复region重叠问题,merge重叠的region为一个region目录,并从新生成一个regioninfo。
    步骤5. hbase hbck -fixHdfsHoles 修复region缺失,利用缺失的rowkey范围边界,生成新的region目录以及regioninfo填补这个空洞。
    步骤6. hbase hbck -fixMeta 修复meta表信息,利用regioninfo信息,重新生成对应meta row填写到meta表中,并为其填写默认的分配regionserver。
    步骤7. hbase hbck -fixAssignments 把这些offline的region触发上线,当region开始重新open 上线的时候,会被重新分配到真实的RegionServer上 , 并更新meta表上对应的行信息。

    其他hbase修复集群命令:
    新版本的 hbck 可以修复各种错误,修复选项是:   
    (1)-fix,向下兼容用,被-fixAssignments替代   
    (2)-fixAssignments,用于修复region assignments错误   
    (3)-fixMeta,用于修复meta表的问题,前提是HDFS上面的region info信息有并且正确。   
    (4)-fixHdfsHoles,修复region holes(空洞,某个区间没有region)问题   
    (5)-fixHdfsOrphans,修复Orphan region(hdfs上面没有.regioninfo的region)   
    (6)-fixHdfsOverlaps,修复region overlaps(区间重叠)问题   
    (7)-fixVersionFile,修复缺失hbase.version文件的问题   
    (8)-maxMerge <n> (n默认是5),当region有重叠是,需要合并region,一次合并的region数最大不超过这个值。   
    (9)-sidelineBigOverlaps ,当修复region overlaps问题时,允许跟其他region重叠次数最多的一些region不参与(修复后,可以把没有参与的数据通过bulk load加载到相应的region)   
    (10)-maxOverlapsToSideline <n> (n默认是2),当修复region overlaps问题时,一组里最多允许多少个region不参与   
    由于选项较多,所以有两个简写的选项   
    (11) -repair,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps   
    (12)-repairHoles,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans   
       
       
       
    新版本的 hbck   
    (1)缺失hbase.version文件   
     加上选项 -fixVersionFile 解决   
    (2)如果一个region即不在META表中,又不在hdfs上面,但是在regionserver的online region集合中   
     加上选项 -fixAssignments 解决   
    (3)如果一个region在META表中,并且在regionserver的online region集合中,但是在hdfs上面没有   
     加上选项 -fixAssignments -fixMeta 解决,( -fixAssignments告诉regionserver close region),( -fixMeta删除META表中region的记录)   
    (4)如果一个region在META表中没有记录,没有被regionserver服务,但是在hdfs上面有   
    加上选项 -fixMeta -fixAssignments 解决,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录)   
    (5)如果一个region在META表中没有记录,在hdfs上面有,被regionserver服务了   
    加上选项 -fixMeta 解决,在META表中添加这个region的记录,先undeploy region,后assign   
    (6)如果一个region在META表中有记录,但是在hdfs上面没有,并且没有被regionserver服务   
    加上选项 -fixMeta 解决,删除META表中的记录   
    (7)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region没有被服务   
    加上选项 -fixAssignments 解决,assign这个region   
    (8)如果一个region在META表中有记录,在hdfs上面也有,table是disabled的,但是这个region被某个regionserver服务了   
    加上选项 -fixAssignments 解决,undeploy这个region   
    (9)如果一个region在META表中有记录,在hdfs上面也有,table不是disabled的,但是这个region被多个regionserver服务了   
    加上选项 -fixAssignments 解决,通知所有regionserver close region,然后assign region   
    (10)如果一个region在META表中,在hdfs上面也有,也应该被服务,但是META表中记录的regionserver和实际所在的regionserver不相符   
    加上选项 -fixAssignments 解决   
       
    (11)region holes   
    需要加上 -fixHdfsHoles ,创建一个新的空region,填补空洞,但是不assign 这个 region,也不在META表中添加这个region的相关信息   
    (12)region在hdfs上面没有.regioninfo文件   
    -fixHdfsOrphans 解决   
    (13)region overlaps   
    需要加上 -fixHdfsOverlaps   
       
       
    说明:   
    (1)修复region holes时,-fixHdfsHoles 选项只是创建了一个新的空region,填补上了这个区间,还需要加上-fixAssignments -fixMeta 来解决问题,( -fixAssignments 用于assign region),( -fixMeta用于在META表中添加region的记录),
    所以有了组合拳 -repairHoles 修复region holes,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans (2) -fixAssignments,用于修复region没有assign、不应该assign、assign了多次的问题 (3)-fixMeta,如果hdfs上面没有,那么从META表中删除相应的记录,如果hdfs上面有,在META表中添加上相应的记录信息 (4)-repair 打开所有的修复选项,相当于-fixAssignments -fixMeta -fixHdfsHoles -fixHdfsOrphans -fixHdfsOverlaps -fixVersionFile -sidelineBigOverlaps 新版本的hbck从(1)hdfs目录(2)META(3)RegionServer这三处获得region的Table和Region的相关信息,根据这些信息判断并repair




    借鉴:https://www.cnblogs.com/quchunhui/p/9583746.html
    https://blog.csdn.net/liliwei0213/article/details/53639275
  • 相关阅读:
    jenkins初始化启动报错导致进入web页面无法安装插件
    redis5.0.7集群搭建
    搭建redis哨兵模式
    Linux服务器安装python3.6
    MySQL绿色版安装
    OSChina中远程GIT仓库同步探索
    Android坡度计
    利用ADB获取APP资源
    实现两台路由器无线桥接
    新体能评定软件开发总结(一)
  • 原文地址:https://www.cnblogs.com/yjt1993/p/11163474.html
Copyright © 2011-2022 走看看