zoukankan      html  css  js  c++  java
  • spark-streaming对接kafka的两种方式

    spark-streaming对接kafka有两种方式:
    1.基于receiver的方式,属于高级API,简单但是效率低,容易丢失数据(可以设置WAL)。
    它的原理是:receiver从kafka拉取数据存储到executor的内存中,spark-streaming启动job处理数据。
    偏移量保存在zookeeper中。
     
    2.基于Direct的方式
    属于低级API,效率高。
    executor直接对接kafka的partition,触发action后,周期性地读取topic分区指定offset的数据,生成batch运算。
     
    优点:
    简言之,省去了receiver,降低资源消耗,提高性能。
    1.简化并行读写:Spark会创建和kafka partition数量一致的RDD partition,并且并行化从kafka中读取数据,所以在kafka的partition和rdd的partition之间,一一对映。
    2.高性能:direct没有receiver,不需要WAL写前日志,因为kafka中的副本就可以保证数据不丢失。
    3.降低资源,direct不需要receiver,因此申请的executor可以全部用于运算。
     
    缺点:
    1.开发复杂
    2.要spark自己维护offset

  • 相关阅读:
    MobileNet V1 V2
    异常检测 与 One Class SVM
    异常检测
    图像分割
    1x1卷积核的作用
    迁移学习
    python
    图像分割
    图像分割
    Nagios
  • 原文地址:https://www.cnblogs.com/lucas-zhao/p/12144448.html
Copyright © 2011-2022 走看看