zoukankan      html  css  js  c++  java
  • 阅读笔记(八)

    离线同步:可理解为将根据一个sql查询出的数据同步到其它目标存储上;

    实时订阅:通过实时解析mysql-binlog,将数据的变动封装成事件存于消息队列,供用户订阅消费;

    实时同步:提供一些常见的订阅客户端料现,实时消费消息,将数据的变动应用于目标存储上。

    BatchTask:Fetcher负责抽取数据,Sinker负责写入数据,Storage为缓存层。

    StreamTask:

    RelayLogTask负责拉取binlog;HHLTask负责解析Binlog,并将解析出的数据变更事件封装为易使用的消息体,最后存入hhl中。

    hhl的实现借鉴了Kafka,可看作一个简易版的消息队列。消息使用protobuf序列化,压缩后顺序写入文件。同时提供了指定大小的索引块。

    PieTask:

    PieTask实际是对客户端的封装,这里主要介绍一下客户端的实现。

    客户端采用并发处理的模式,connector负责接收消息,paritioner负责分发消息交给不同的Processor(线程)处理。

    因客户端需自己记录当前处理的位点,但又要保障在并发场景下记录的位点之前的消息都已被正确处理。为了减少线程间阻塞,使用了环形数组的提交方式(记录位点)。

    集群:高可用,数据本地性,负载均衡

    文章部分转载:

    数据蜂巢架构演进之路

  • 相关阅读:
    java学习day03-循环结构
    java学习day03-运算符+分支结构
    java学习day02-标识符+关键字+注释+变量
    java学习day02-数据类型
    java学习day01-认识Java语言Hello world!
    私有仓库
    服务编排
    镜像原理
    docker部署应用
    docker数据卷和数据卷容器
  • 原文地址:https://www.cnblogs.com/ydy1/p/11051000.html
Copyright © 2011-2022 走看看