zoukankan      html  css  js  c++  java
  • kafka介绍及安装配置(windows)

      菜谱微信小程序,操作简单,教程详细,欢迎大家使用

      

    • Kafka介绍

    Kafka是分布式的发布—订阅消息系统。它最初由LinkedIn(领英)公司发布,使用Scala和Java语言编写,与2010年12月份开源,成为Apache的顶级项目。Kafka是一个高吞吐量的、持久性的、分布式发布订阅消息系统。

    三大特点:

      高吞吐量 可以满足每秒百万级别消息的生产和消费——生产消费。

      持久性 有一套完善的消息存储机制,确保数据的高效安全的持久化——中间存储。

      分布式 基于分布式的扩展和容错机制;Kafka的数据都会复制到几台服务器上。当某一台故障失效时,生产者和消费者转而使用其它的机器——整体健壮性。

    核心:

      Broker:消息代理,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。

      Topic:主题,Kafka处理的消息的不同分类。

      Partition:Topic物理上的分组,一个topic可以分为多个partion,每个partion是一个有序的队列。partion中每条消息都会被分配一个有序的Id(offset)

      Message:消息,是通信的基本单位,每个producer可以向一个topic(主题)发布一些消息,每个消息都属于一个partition

      Producer:消息和数据的生产者,向Kafka的一个topic发布消息。

      Consumer:消息和数据的消费者,定于topic并处理其发布的消息。

    • 安装配置

    kafka依赖zookeeper,在Kafka的设计中,选择了使用Zookeeper来进行所有Broker的管理,体现在zookeeper上会有一个专门用来进行Broker服务器列表记录的点,节点路径为/brokers/ids;此外生产者、消费者的负载均衡可使用zookeeper实现等等。因此需要安装zookeeper

    下载地址:

      zookeeper:链接:https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q  提取码:ipv9 

      kafka:链接:https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ  提取码:sbd5 

    安装:

      zookeeper:

        1.下载解压(以C:zookeeper3.4为例),将C:zookeeper3.4conf下的zoo_sample.cfg文件更名为zoo.cfg

           

        2.打开zoo.cfg,编辑dataDir=c:\zookeeper3.4\temp

          

        3.配置环境变量,系统变量-新建ZOOKEEPER_HOME;并在系统变量path中增加“%ZOOKEEPER_HOME%in;”

          

          

        4.打开cmd窗口,输入zkServer启动,默认端口2181;使用kafka期间保持zookeeper启动

          

          

      kafka:

        1.下载解压(以C:kafka2.12为例),打开c:kafka2.12configserver.properties,编辑log.dirs=c:\kafka2.12\kafka-logs, zookeeper.connect=localhost:2181

        2.把c:kafka2.12inwindowkafka-run-class.bat 中179行%CLASSPATH%加上双引号

          

        3.打开cmd窗口,进入kafka根目录下,输入 .inwindowskafka-server-start.bat .configserver.properties 运行

          

     至此,kafka的安装配置完成;下篇文章将介绍springboot集成kafka,及其一些配置详解。

    最后说一嘴,关于多个MQ的选型问题,适合项目的就是最好的,适不适合根据各个MQ的优劣势决定。

  • 相关阅读:
    Nova官方资料入口处
    LeetCode 有效的数独
    LeetCode 两数之和
    LeetCode 移动零
    安装OpenStack Queens版本的教程推荐
    删除排序数组中的重复项
    (转载)OpenStack client 调用分析
    (转载)基于Linux C的socket抓包程序和Package分析
    Maven的具体使用和优点
    关于 Javascript 学习,有哪些好的博客或者网站推荐?
  • 原文地址:https://www.cnblogs.com/729log/p/11200369.html
Copyright © 2011-2022 走看看