zoukankan      html  css  js  c++  java
  • Apache Kafka教程:入门介绍

    Apache Kafka是一个开放源代码流处理软件平台,用于处理实时数据存储。
    Apache Kafka在两方(即发送方和接收方)之间充当经纪人。它一天可以处理大约数万亿个数据事件。
    Apache Kafka是一个基于分布式流式处理过程的软件平台。
    Apache Kafka是一个发布-订阅消息传递系统,它也允许在应用程序,服务器和处理器之间交换数据。
    Apache Kafka最初是由LinkedIn开发的,后来捐赠给了Apache软件基金会。目前,它由Apache Software Foundation下的Confluent维护。
    Apache Kafka解决了发送方和接收方之间数据通讯的令人头疼的麻烦。
    消息传递系统是两个或多个人员,设备等之间的简单消息交换。
    发布-订阅消息传递系统允许发送方发送/写入消息,而接收方读取该消息。
    在Apache Kafka中,发送者被称为发布消息的生产者,而接收者被称为通过订阅消耗消息的消费者。
    流处理是并行连接系统中的数据处理。此过程允许不同的应用程序限制数据的并行执行,其中一条记录的执行无需等待前一条记录的输出。
    因此,分布式流平台使用户能够简化流过程和并行执行的任务。因此,Kafka中的流媒体平台具有以下关键功能:

    • 一旦记录流出现,它将对其进行处理。
    • 它的工作方式类似于企业消息传递系统,在该系统中,它发布和订阅记录流。
    • 它以容错的持久方式存储记录流。

    image

    为了学习和理解Apache Kafka,有抱负的人应该知道以下四个核心API:
    image

    Producer API:此API允许/允许应用程序将记录流发布到一个或多个主题。 (在后面的部分中讨论)
    Consumer API:此API允许应用程序订阅一个或多个主题,并处理为其产生的记录流。
    Streams API:此API允许应用程序有效地将输入流转换为输出流。它允许应用程序充当流处理器,该处理器使用一个或多个主题的输入流,并生成一个或多个输出主题的输出流。
    Connector API:此API与现有数据系统或应用程序一起执行可重用的生产者和使用者API。

  • 相关阅读:
    log4j1修改DailyRollingFileAppender支持日志最大数量
    log4j1 修改FileAppender解决当天的文件没有日期后缀
    log4j生成有日期的日志文件名
    Java删除List和Set集合中元素
    Java并发编程:并发容器之ConcurrentHashMap
    Java并发编程:并发容器之CopyOnWriteArrayList
    java.util.ConcurrentModificationException解决详解
    Handshake failed due to invalid Upgrade header: null 解决方案
    web项目Log4j日志输出路径配置问题
    log4j.properties 的使用详解
  • 原文地址:https://www.cnblogs.com/MakeView660/p/12179700.html
Copyright © 2011-2022 走看看