zoukankan      html  css  js  c++  java
  • HBase scan 时 异常 ScannerTimeoutException 解决

    1. org.apache.Hadoop.hbase.client.ScannerTimeoutException: 60622ms passed since the last invocation, timeout is currently set to 60000  
    2.     at org.apache.hadoop.hbase.client.HTable$ClientScanner.next(HTable.java:1196)   
    3.     at org.apache.hadoop.hbase.mapreduce.TableRecordReaderImpl.nextKeyValue(TableRecordReaderImpl.java:133)   
    4.     at org.apache.hadoop.hbase.mapreduce.TableRecordReader.nextKeyValue(TableRecordReader.java:142)   
    5.     at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:532)   
    6.     at org.apache.hadoop.mapreduce.MapContext.nextKeyValue(MapContext.java:67)   
    7.     at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:143)   
    8.     at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)   
    9.     at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)   
    10.     at org.apache.hadoop.mapred.Child$4.run(Child.java:255)   
    11.     at java.security.AccessController.doPrivileged(Native Method)   
    12.     at javax.security.auth.Subject.doAs(Subject.java:396)   
    13.     at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093)   
    14.     at org.apache.hadoop.mapred.Child.main(Child.java:249)  

    如在scan hbase的时候见到如上报错,核心是,你某两次scan的触发的间隔时间过长。因此就得从两个部分寻找原因:

    1. 是否你自己每次的scan处理较耗时? ->  优化处理程序,scan一些设置调优(比如setBlockCache(false) )

    2. 是否每次scan的caching设置过大?  ->  减少caching (一般默认先设100)

    3. 是否是网络或机器负载问题?    ->  联系运维跟进查看集群原因

    4. 是否HBase本身负载问题?     ->   查看RegionServer日志

    一般以上四个问题都解决了(或确定目前暂不能解决),才考虑调整hbase的一些配置问题,比如网上提到的 config.setLong(HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY, 120000) , default 60000 。这个值就是异常中的那个currently set的值。

    在HBase1.1.2中的源码是:

      this.scannerTimeout = HBaseConfiguration.getInt(conf,
            HConstants.HBASE_CLIENT_SCANNER_TIMEOUT_PERIOD,
            HConstants.HBASE_REGIONSERVER_LEASE_PERIOD_KEY,
            HConstants.DEFAULT_HBASE_CLIENT_SCANNER_TIMEOUT_PERIOD);
    HBASE_REGIONSERVER_LEASE_PERIOD_KEY="hbase.regionserver.lease.period" 这个被deprecated掉了,新的用 HBASE_CLIENT_SCANNER_TIMEOUT_PERIOD = "hbase.client.scanner.timeout.period"。
    也就是说在这个版本之后应该设置 config.setLong(HConstants.HBASE_CLIENT_SCANNER_TIMEOUT_PERIOD, 120000)
  • 相关阅读:
    windows中抓取hash小结(上)
    内网横向移动常见方法
    常见默认服务端口整理
    Kerberos认证流程简述
    SQL注入之MySQL报错注入整理
    域内常用命令整理
    一个极其朴素的目录扫描Python脚本
    5. 7冲刺记录
    5. 6冲刺记录
    梦断代码阅读笔记
  • 原文地址:https://www.cnblogs.com/lhfcws/p/7093359.html
Copyright © 2011-2022 走看看