zoukankan      html  css  js  c++  java
  • Hbase性能调优

    client端

    HTable.setAutoFlush(false) 关闭客户端自动刷新
    HTable.setWriteBufferSize(writeBufferSize)
    设置HTable客户端的写buffer大小,与上面的参数配合使用。当达到设置的writeBufferSize时,才会触发提交到服务端的请求。(不适合实时读写业务)
    Put.setWriteToWAL(false) 关闭WAL日志
    客户端向集群中的RegionServer提交PUT数据时,首先会先写WAL(Write Ahead Log)日志(即HLog),只有当WAL日志写成功后,再接着写MemStore,然后客户端被通知提交数据成功;如果写WAL日志失败,客户端则被通知提交失败。这样做的好处是可以做到RegionServer宕机后的数据恢复。
    关闭WAL可提升写入性能,但是一旦RegionServer宕机,Put的数据将会无法根据WAL日志进行恢复。
    批量PUT(put(List)),多线程写入。根据业务选择。
    在spark写入hbase时,可以使用Mapreduce的方式,具体参考api saveAsHadoopDataset。

    server端
    server端写入数据流程

    从zookeeper中的meta表获取region信息,根据表名,rowkey找到对应的regionserver。
    数据写到HLog(参考client端的关闭WAL日志操作)和Memostore
    MemStore达到一个阈值后则把数据刷成一个StoreFile文件。若MemStore中的数据有丢失,则可以总HLog上恢复
    当多个StoreFile文件达到一定的大小后,会触发Compact合并操作,合并为一个StoreFile,这里同时进行版本的合并和数据删除

    当Compact后,逐步形成越来越大的StoreFile后,会触发Split操作,把当前的StoreFile分成两个,这里相当于把一个大的region分割成两个region

    根据上述流程,server调优可选参数如下:
    Heapsize
    增加hbase内存是提升性能最重要的参数,但是具体方案和业务相关(简单说来主要包括读多写少型和写多读少型),配置时考虑到底使用BucketCache还是使用LRUBlockCache模式。
    配置参数时选择在CDH的Hbase配置界面搜索heapsize,offheap,根据实际业务和服务器资源调整相应参数。

    参考https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_Sys_Admin_Guides/content/ref-1e85903e-0358-410e-9b6d-13ac2036fb71.1.html

    减少compaction(hbase.hstore.compactionThreshold)

    默认为3,适当增加到5-10,即HStoreFiles数量超过该参数时,执行compaction。增加参数可减少compaction的次数,但是同时需要更大的内存。

    hbase.hstore.compaction.max

    每次minor compact最多的文件个数,和上面2类似,增加个数会使用更大内存。默认为10,可增加到30.

    hbase.client.write.buffer

    客户端写buffer,设置autoFlush为false时,当客户端写满buffer才flush。(参考client端调优1,该参数也可以在client端设置)

    hbase.regionserver.handler.count

    regionserver处理IO请求的线程数,根据集群资源适当调整。线程数越多,内存使用越高。建议30-50。

    hbase.regionserver.maxlogs

    regionserver的hlog数量,(参考client端调优3),默认32,可适当增加。

    hbase.hstore.blockingStoreFiles

    当某个HStore中HStoreFiles的数量超过该参数时,HRegion会阻塞写入以等待compaction。可增加该参数至30-100。

    hbase.regionserver.thread.compaction.small
    small compaction的线程数,默认为1,建议增加到5。

  • 相关阅读:
    git使用教程2-更新github上代码
    git使用教程-本地代码上传到github
    【Mac系统 + Git】之上传项目代码到github上以及删除某个文件夹
    【Mac + Appium + Python3.6学习(五)】之常用的Android自动化测试API总结
    【Mac + Python + Selenium】之PyCharm配置Selenium自动化
    appium自动化常用API
    【Mac + Appium + Python3.6学习(四)】之常用的IOS自动化测试API总结
    ubuntu指令大全
    Win10上安装双系统(win10+ubuntu)
    C语言共用体的作用
  • 原文地址:https://www.cnblogs.com/feiyudemeng/p/9011015.html
Copyright © 2011-2022 走看看