zoukankan      html  css  js  c++  java
  • Hbase 永久 Region-In-Transition 的查错记录

    状态:
    部分 region 的状态为 FAILED_CLOSE,且一直停留在 RIT,不可服务。

    1. 首先,到 hbase region 上查日志(/var/log/hbase/),看到是 hdfs 文件的问题(参考 https://www.cnblogs.com/cenliang/p/8485011.html)
    于是通过 HADOOP_USER_NAME=hdfs hdfs fsck /apps/hbase,发现部分文件缺少备份,运行以下命令设置备份,但始终不能完成所有文件的备份。

    HADOOP_USER_NAME=hdfs hadoop fs -setrep -R 3 /apps/hbase

    且 RIT 一直没有变化。

    2. 继续研究日志,注意到另外一个高频的错误

    2019-03-21 03:19:42,153 INFO  [Thread-17726] hdfs.DFSClient: Exception in createBlockOutputStream
    java.io.IOException: Got error, status message , ack with firstBadLink as 10.10.243.116:50010
            at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:142)
            at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1484)
            at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1386)
            at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:564)
    

     

    3. 跳到 10.10.243.116 机器上看日志,发现以下错误持续存在

    2019-03-20 08:11:28,060 ERROR datanode.DataNode (DataXceiver.java:run(278)) - ip-10-10-243-116.ec2.internal:50010:DataXceiver error processing WRITE_BLOCK operation  src: /10.10.240.145:52666 dst: /10.10.243.116:50010
    org.apache.hadoop.util.DiskChecker$DiskOutOfSpaceException: No more available volumes
            at org.apache.hadoop.hdfs.server.datanode.fsdataset.RoundRobinVolumeChoosingPolicy.chooseVolume(RoundRobinVolumeChoosingPolicy.java:57)
            at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsVolumeList.chooseVolume(FsVolumeList.java:80)
            at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsVolumeList.getNextVolume(FsVolumeList.java:107)
            at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsDatasetImpl.createTemporary(FsDatasetImpl.java:1580)
            at org.apache.hadoop.hdfs.server.datanode.BlockReceiver.<init>(BlockReceiver.java:205)
            at org.apache.hadoop.hdfs.server.datanode.DataXceiver.writeBlock(DataXceiver.java:687)
            at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.opWriteBlock(Receiver.java:137)
            at org.apache.hadoop.hdfs.protocol.datatransfer.Receiver.processOp(Receiver.java:74)
            at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:251)
            at java.lang.Thread.run(Thread.java:748)
    

      

    这个错误是没有找到硬盘,但通过 df -lh 看到,放数据的硬盘存在,应该是启动时的未知异常

    Filesystem Size Used Avail Use% Mounted on
    devtmpfs 16G 56K 16G 1% /dev
    tmpfs 16G 24K 16G 1% /dev/shm
    /dev/nvme0n1p1 50G 16G 34G 33% /
    /dev/nvme1n1 2.9T 1.9T 893G 69% /hadoopfs/fs1
    

    4. region server状态如下

    3台region server是最近重启的,没有 region 在上面,并且时间与 DiskOutOfSpaceException 出现的时间吻合,于是做以下推测。

    ===========================================================================================

    1. 2019-03-20 08:11:28,060左右,先后重启了 data node 和 region server
    2. 因为关闭了3台 region server,所有的 region 都迁移到活着的3台中(参见上图)
    3. data node 启动了,但 10.10.243.116 状态不正常
    4. region server 启动成功了,集群重新调整 region 的分布,即 unassign 部分 region server 上的region,assign 到刚启动的机器上
    5. 此过程中,由于 data node 异常,这些 region 停留在 RIT,状态为 FAILED_CLOSE

    注:region的状态机说明(http://hbasefly.com/2016/09/08/hbase-rit/)

    解决方案:重启 data node

    参考:

     https://www.cnblogs.com/cenliang/p/8485011.html   HBase 永久RIT(Region-In-Transition)问题

     http://hbasefly.com/2016/09/08/hbase-rit/   region的状态机说明

  • 相关阅读:
    SqlParameter的作用与用法
    自制ASP.NET 本地授权文件
    教你如何谷歌浏览器免费打电话
    grep命令
    前端培训
    环境变量
    jenkins执行脚本npm: command not found解决
    Linux下给mysql创建用户并分配权限
    h5视频微信禁止全屏 x5-playsinline
    git 删除本地分支和远程分支、本地代码回滚和远程代码库回滚
  • 原文地址:https://www.cnblogs.com/keepthinking/p/10570802.html
Copyright © 2011-2022 走看看