zoukankan      html  css  js  c++  java
  • hbase添加大文件

    一直使用hbase作大容量存储,因为hbase易于存取。

    今天,在录入数据的时候,突然报出一个KeyValue size too large。很是奇怪。

    后来发现,该数据特别大,经查源码

    Java代码  收藏代码
    1. private void validatePut(final Put put) throws IllegalArgumentException{  
    2.     if (put.isEmpty()) {  
    3.       throw new IllegalArgumentException("No columns to insert");  
    4.     }  
    5.     if (maxKeyValueSize > 0) {  
    6.       for (List<KeyValue> list : put.getFamilyMap().values()) {  
    7.         for (KeyValue kv : list) {  
    8.          if (kv.getLength() > maxKeyValueSize) {
    9.             throw new IllegalArgumentException("KeyValue size too large");  
    10.           }  
    11.         }  
    12.       }  
    13.     }  
    14.   }  

     说明当某一列的值大于该值的时候,将会抛出该异常,又查看maxKeyValueSize,发现它调用的是hbase配置里的hbase.client.keyvalue.maxsize,默认大小为10M,即 10485760 。将它改大即可。

    但是,当我修改完以后,启动hbase总是出问题,后来又将hbase-env.sh里的HBASE_HEAPSIZE改大。

    后来又将mapred-site.xml中的mapred.tasktracker.indexcache.mb改大,至于大于hbase.client.keyvalue.maxsize,不知道有没有影响,以防万一吧,我觉得hbase的执行应该是跟job有关系的吧。

    请大家多多指教

  • 相关阅读:
    python对于相同值的内存管理
    python的in,is和id函数
    sublime text3格式化json,格式化sql代码
    VMware15.5版本安装CentOS7
    VMware15.5版本安装Windows_Server_2008_R2
    MySQL事务
    判定表组成法
    正交试验设计
    因果图法
    错误推测法
  • 原文地址:https://www.cnblogs.com/exmyth/p/7400517.html
Copyright © 2011-2022 走看看