zoukankan      html  css  js  c++  java
  • kafka介绍及安装配置(windows)

      菜谱微信小程序,操作简单,教程详细,欢迎大家使用

      

    • Kafka介绍

    Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

    三大特点:

      高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费。

      持久性 有一套完善的消息存储机制,确保数据的高效安全的持久化——中间存储。

      分布式 基于分布式的扩展和容错机制;Kafka的数据都会复制到几台服务器上。当某一台故障失效时,生产者和消费者转而使用其它的机器——整体健壮性。

    核心:

      Broker:消息代理,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。

      Topic:主题,Kafka处理的消息的不同分类。

      Partition:Topic物理上的分组,一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)

      Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息,每个消息都属于一个partition

      Producer:消息和数据的生产者,向Kafka的一个topic发布消息。

      Consumer:消息和数据的消费者,定于topic并处理其发布的消息。

    • 安装配置

    kafka依赖zookeeper,在Kafka的设计中,选择了使用Zookeeper来进行所有Broker的管理,体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点,节点路径为/brokers/ids;此外生产者、消费者的负载均衡可使用zookeeper实现等等。因此需要安装zookeeper

    下载地址:

      zookeeper:链接:https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q  提取码:ipv9 

      kafka:链接:https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ  提取码:sbd5 

    安装:

      zookeeper:

        1.下载解压(以C:zookeeper3.4为例),将C:zookeeper3.4conf下的zoo_sample.cfg文件更名为zoo.cfg

           

        2.打开zoo.cfg,编辑dataDir=c:\zookeeper3.4\temp

          

        3.配置环境变量,系统变量-新建ZOOKEEPER_HOME;并在系统变量path中增加“%ZOOKEEPER_HOME%in;”

          

          

        4.打开cmd窗口,输入zkServer启动,默认端口2181;使用kafka期间保持zookeeper启动

          

          

      kafka:

        1.下载解压(以C:kafka2.12为例),打开c:kafka2.12configserver.properties,编辑log.dirs=c:\kafka2.12\kafka-logs, zookeeper.connect=localhost:2181

        2.把c:kafka2.12inwindowkafka-run-class.bat 中179行%CLASSPATH%加上双引号

          

        3.打开cmd窗口,进入kafka根目录下,输入 .inwindowskafka-server-start.bat .configserver.properties 运行

          

     至此,kafka的安装配置完成;下篇文章将介绍springboot集成kafka,及其一些配置详解。

    最后说一嘴,关于多个MQ的选型问题,适合项目的就是最好的,适不适合根据各个MQ的优劣势决定。

  • 相关阅读:
    27. Remove Element
    列表变成字典
    1. Two Sum
    CVPR2019:What and How Well You Performed? A Multitask Learning Approach to Action Quality Assessment
    959. Regions Cut By Slashes
    118. Pascal's Triangle
    loj3117 IOI2017 接线 wiring 题解
    题解 NOI2019 序列
    题解 省选联考2020 组合数问题
    题解 Educational Codeforces Round 90 (Rated for Div. 2) (CF1373)
  • 原文地址:https://www.cnblogs.com/729log/p/11200369.html
Copyright © 2011-2022 走看看