zoukankan      html  css  js  c++  java
  • 资料下载 | 58同城HBase平台及生态建设实践

    前言:2020年3月7日晚7点,大佬张祥在微信群向大家详细介绍了58同城HBase平台及其生态的建设实践与相关经验,确实讲得很好。今天花了点时间帮大家整理了一下,希望更多的没有参与直播的朋友能够看到它,也欢迎大家积极转发一下,视频与PPT相关资料附于文末

    亮点在哪

    该分享的亮点在哪儿里呢?这里我就自己的理解阐述一下自己的想法,不喜勿喷哈~

    1. 数据接入层

    第一个亮点是:58同城在HBase之上做了进一步封装(SCF),融入了微服务,充分利用了微服务的优势和特点,比如熔断、监控、权限、动态扩缩容等等都可以在这一层做,虽然也多了一层运维成本,但微服务技术应该也算有比较成熟的体系了。

    之前也听过诸多言论,比如HBase之上封装一层HTTP或是RPC服务会导致性能降低之类的说法,其实我倒是觉得影响还是比较小的,当然肯定会有些影响。对性能影响比较大的只可能是过度封装或是对HTTP/RPC框架不熟。

    当然,性能与服务器成本是挂钩的,性能的提升会带来服务器成本的降低,诸多好处和不足还应权衡一下。58同城,也算是在这一方面开了一个不错的先例(恕我孤陋寡闻~)。

    2. 多租户打通与数据隔离

    听完整个视频,我觉得第二个亮点算是多租户的全线打通了,这里主要是一个解决方式:Hadoop ugi 的提出。可能是我孤陋寡闻吧,这个对我的启发确实挺大的,因为正好可以解决自己在工作中遇到的一个比较头疼的问题:基于Kerberos太重,如何打通HBase的授权与鉴权,并充分利用HBase ACL?如果你也有这个困惑,可以了解一下。

    3. 集群迁移方案

    第三个亮点,是一套新的集群迁移方案的提出。以往的贴大都是Snapshot+Replication的方式做这个迁移工作,58首先提出了一个集群双写的方案(恕我孤陋寡闻~),感觉挺好。大家可以详细看看视频,张祥讲解的也很清楚。

    答疑解惑

    答疑环节呢比较少,这里把微信群里屈指可数的几个问题贴一下:

    1. 集群迁移为什么不直接snapshot+export_snapshot?

    张祥: “
    你这个方式慢,snapshot-export这个工具慢 你试试
    而且,如果之前的老表 分区不合理,比如过大或者过小,你这样就不好重新创建新分区了”

    2. clone-snapshot以后,major_compact主要是什么考虑?合并小文件吗?还是?

    张祥: “
    把一个表复制一下,做个深度拷贝,而不是副本引用。”

    3. 数据接入层,多租户RPC长链接创建后是如何实现用户动态切换的?我目前的理解HBase是在建立连接前指定用户。

    张祥: “ugi”

    资料分享

    在线视频播放地址:
    微信视频:https://mp.weixin.qq.com/s/pUhsvUaznySryItwjWTjQg
    斗鱼直播:https://www.douyu.com/5022062
    腾讯视频:https://v.qq.com/x/page/g3078klzfwj.html

    PPT下载地址:

    百度云:
    链接:https://pan.baidu.com/s/1fAnxS4bSj9HShMOkiFMWfA
    提取码:um8a

    扫描二维码关注博主公众号

    转载请注明出处!欢迎关注本人微信公众号【HBase工作笔记】

  • 相关阅读:
    pytest05-参数化
    pytest04-conftest配置文件
    pytest03-fixture
    pytest02-setup和teardown
    SimpleDateFormat 是线程不安全的类,一般不要定义为 static 变量,如果定义为 static ,必须加锁,或者使用 DateUtils 工具类
    线程池不使用 Executors 去创建,而是通过 ThreadPoolExecutor 的方式
    线程资源最好通过线程池提供
    获取单例对象需要保证线程安全,其中的方法也要保证线程安全
    高度注意 Map 类集合 K / V 能不能存储 null 值的情况,如下表格
    使用 entrySet 遍历 Map 类集合 KV ,而不是 keySet 方式进行遍历的好处
  • 原文地址:https://www.cnblogs.com/zpb2016/p/12663661.html
Copyright © 2011-2022 走看看