zoukankan      html  css  js  c++  java
  • KeyOnlyFilter(2)

    主要用来过滤剩下行键计数一类

    KeyOnlyFilter

    官方API解释如下:

    A filter that will only return the key component of each KV (the value will be rewritten as empty).

    This filter can be used to grab all of the keys without having to also grab the values.

    此filter可以用来计数,但是效率没有FirstKeyOnlyFilter高

    如果需要用FirstKeyOnlyFilter 可以参考我这篇关于FirstKeyOnlyFilter的文章,地址如下

    http://blog.csdn.NET/liuxiaochen123/article/details/7878580

    KeyOnlyFilter实例代码如下,比较简单,意思到就行

    [java] view plain copy
     
    1. <span style="font-size:12px;">public int getCount1() {  
    2.         long bef = System.currentTimeMillis();  
    3.         int i = 0;  
    4.         ResultScanner rs = null;  
    5.         try {  
    6.             Scan s = new Scan();  
    7.             s.setCaching(500);  
    8.             s.setCacheBlocks(false);  
    9.             s.setFilter(new KeyOnlyFilter());  
    10.             rs = tableKeyword.getScanner(s);  
    11.         } catch (IOException e) {  
    12.             log.warn(e);  
    13.             e.printStackTrace();  
    14.         }  
    15.         for (org.apache.hadoop.hbase.client.Result r : rs) {  
    16.             i++ ;  
    17.         }  
    18.         long now = System.currentTimeMillis();  
    19.         log.warn("keyword表中数据总数 :" + i + ", 所用时间 : " + (now - bef)/1000.0);  
    20.         rs.close();  
    21.         return i;  
    22.     }</span>  


    最好设置tableKeyword.setScannerCaching(500);

    s.setCaching(500);
    s.setCacheBlocks(false);这三个参数,否则速度会降下来很多

    总的来说,可以节省很多时间

  • 相关阅读:
    使用Hugo框架搭建博客的过程
    使用Hugo框架搭建博客的过程
    使用Hugo框架搭建博客的过程
    Windows软件包管理工具:Scoop
    Centos8 安装ifconfig(net-tools.x86_64)
    Centos8 重启网卡方法
    使用Visual Studio 2019--调试汇编32位代码的详细步骤
    linux 三剑客之awk总结
    linux 三剑客之sed常用总结
    mysql数据库的笔记
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/6777664.html
Copyright © 2011-2022 走看看