zoukankan      html  css  js  c++  java
  • 查询MYSQL和查询HBASE速度比较

    上一篇文章:我要上谷歌


    Mysql,关系型数据库;

    HBase,NoSql数据库。

    查询Mysql和查询HBase,到底哪个速度快呢?

    与一些真正的大牛讨论时,他们说HBase写入速度,可以达到每秒1W。而HBase的理想速度为每秒10W。

    来个实验说明一下,此实验只能表明,当前环境下运行状态。我的实验效果,没有到1W,还在优化中…

     

    环境:

    有3台虚拟机,运行Hadoop集群;3台虚拟机也在跑HBase:master,node1,node2

    master上,同时安装了Mysql数据库。

    目前有这样一个需求:

    有一堆文本文件,每个文本文件内,存储着日志;

    每一行为一条记录;

    现在需要,逐行读取记录,并根据记录中的mac地址和sn号,去从HBase或Mysql中,获取账号信息。

    然后合并成一条记录,写入HBase的“SHUJU”表内。

     

    Mysql表结构:

    id,mac,sn,addtime,account

    HBase表结构:

    ROWKEY为mac+sn,mac,sn,account,addtime

     

    测试效果如下:

    每隔一分钟,执行一次count操作,统计当前数据条数。

    select count(1) from SHUJU

    结果如下

    =====================================

    Mysql上,第一次测试。

    开始时间11:03:15

    28135(条数)

    39014

    49659

    264564

    274379

    285174(条数)

    结束时间11.26.15

    285174 – 28135 = 257039

    257039 / 23 = 11 175.608695652

    也是1W以上。。。

    =====================================

    查询的 HBase库

    开始时间14:43:00

    5622(条数)

    16671

    25062

    34848

    46652

    58001

    69690

    79908(条数)

    结束 14:50:00

    79908 – 5622 = 74 286

    74286 /7 = 10 612 每分钟个数。

    =====================================

    mysql

    开始 14:58:30

    19248(条数)

    26526

    36389

    45837

    51945

    62497

    72319

    82695(条数)

    结束时间:15:04:30

    间隔 七分钟

    82695 – 19248 = 63 447

    93447 / 7 = 9 063.8571428571

    ======================================

    可以看出在HBase中速度,比mysql中速度略快一点。

    但是总的速度,还是有待提高。。。

     

    文章来自: 大牛笔记

    博客园博客地址:http://www.cnblogs.com/laov/p/4134998.html

  • 相关阅读:
    转:客制FORM调用会计科目弹性域/根据科目取得CODE_COMBINATION_ID
    设计模式——“signleton”
    javascript部分知识点
    Java多线程初学者指南(9):为什么要进行数据同步
    tomcat报错org.springframework.web.context.ContextLoaderListener找不到
    ibatis知识点
    毕业快一年
    (转)Spring AOP的底层实现技术
    JavaWeb项目中引入spring框架
    Spring的核心机制依赖注入
  • 原文地址:https://www.cnblogs.com/laov/p/4134998.html
Copyright © 2011-2022 走看看