zoukankan      html  css  js  c++  java
  • Vertica的这些事(十五)——-Vertica消费kafka答疑

    关于如何消费kafka数据,请参看 Vertica的这些事(十四)——Vertica实时消费kafka实现
    最近有小伙伴提出了消费kafka的一些疑问,答疑如下:

    1、 Vertica消费kafka机制是什么?

    Vertica通过scheduler来按定义的频度调度执行copy table from kafkasource(...)来从kafka的主题加载数据。

    2、 Vertica消费kafka的偏移量是怎么维护的?

    Vertica的scheduler会把每个主题消费到的偏移量存储到表stream_microbatch_history中(schema由scheduler的参数指定和创建),没加载一批就会scheduler就会给它加上,下一次加载的时候会作为参数传递给kafkasource。

    3、 Vertica消费kafka是多个节点并发执行?资源怎么控制?

    Vertica是多个节点并行读取kafka主题多个patition的消息的。资源池的EXECUTIONPARALLELISM参数会决定节点内解析消息的并行线程数,内存等资源也由资源池控制。

    4、 Vertica消费kafka应该怎么监控?

    MC本身具备kafka消息加载的监控界面,表stream_microbatch_history中有详细的加载信息。

    5、 出现节点宕机对kafka消息读取有什么影响?

    Kafka读过的消息偏移量和业务数据都存放到Vertica中,就算Vertica集群数据不完全恢复,他们也会保证是一致的,恢复后会自动从数据库中记录的偏移量开始继续加载,不会出现数据对视。


    作者:WindyQin
    出处:http://www.cnblogs.com/qinchaofeng/

    微信公众号
    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

     
  • 相关阅读:
    request相关
    C#请求接口
    qml_base
    web
    entry
    listbox
    Canvas
    pickle
    c#枚举
    数据结构——树
  • 原文地址:https://www.cnblogs.com/qinchaofeng/p/12667420.html
Copyright © 2011-2022 走看看