zoukankan      html  css  js  c++  java
  • kafka伪集群搭建

    一、安装java环境,不再赘述。

    二、下载kafka安装包

      http://kafka.apache.org/downloads

      选择 kafka-2.10-0.10.2.0.tgz 下载

    三、搭建集群

    3.1在/opt目录下创建kafka/目录

    mkdir /opt/kafka

    3.2将下载的 kafka-2.10-0.10.2.0.tgz 放到 /opt/kafka/ 目录下

    cd /opt/kafka
    tar -zxvf kafka-2.10-0.10.2.0.tgz

    3.3创建kafka日志目录,这里我创建的伪集群有三台服务器,所以创建三个日志目录

    mkdir /opt/kafka/kafkalogs1 kafkalogs2 kafkalogs3

    3.4进入kafka-2.10-0.10.2.0.tgz的解压出来的 conf/ 目录,修改配置文件,同样集群的三台服务器分别对应一个配置文件。

    cd /opt/kafka/kafka_2.10-0.10.2.0/config
    cp server.properties server.properties1
    cp server.properties server.properties2
    cp server.properties server.properties3

    修改server.properties1、2、3,主要修改:

    server.properties1:
      broker.id=0
      host.name=192.168.10.130
      port=9092
      log.dirs=/opt/kafka/kafkalogs1
      zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183
    server.properties2:
      broker.id=1
      host.name=192.168.10.128
      port=9093
      log.dirs=/opt/kafka/kafkalogs2
      zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183
    server.properties3:
      broker.id=2
      host.name=192.168.10.128
      port=9094
      log.dirs=/opt/kafka/kafkalogs3
      zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183

    配置文件解析:

    broker.id=0  #当前机器在集群中的唯一标识,和zookeeper的myid性质一样
    port=9092 #当前kafka对外提供服务的端口默认是9092
    host.name=192.168.10.130#这个参数默认是关闭的,在0.8.1有个bug,DNS解析问题,失败率的问题。
    num.network.threads=3 #这个是borker进行网络处理的线程数
    num.io.threads=8 #这个是borker进行I/O处理的线程数
    log.dirs=/opt/kafka/kafkalogs/ #消息存放的目录,这个目录可以配置为“,”逗号分割的表达式,上面的num.io.threads要大于这个目录的个数这个目录,如果配置多个目录,新创建的topic他把消息持久化的地方是,当前以逗号分割的目录中,那个分区数最少就放那一个
    socket.send.buffer.bytes=102400 #发送缓冲区buffer大小,数据不是一下子就发送的,先回存储到缓冲区了到达一定的大小后在发送,能提高性能
    socket.receive.buffer.bytes=102400 #kafka接收缓冲区大小,当数据到达一定大小后在序列化到磁盘
    socket.request.max.bytes=104857600 #这个参数是向kafka请求消息或者向kafka发送消息的请请求的最大数,这个值不能超过java的堆栈大小
    num.partitions=1 #默认的分区数,一个topic默认1个分区数
    log.retention.hours=168 #默认消息的最大持久化时间,168小时,7天
    message.max.byte=5242880  #消息保存的最大值5M
    default.replication.factor=2  #kafka保存消息的副本数,如果一个副本失效了,另一个还可以继续提供服务
    replica.fetch.max.bytes=5242880  #取消息的最大直接数
    log.segment.bytes=1073741824 #这个参数是:因为kafka的消息是以追加的形式落地到文件,当超过这个值的时候,kafka会新起一个文件
    log.retention.check.interval.ms=300000 #每隔300000毫秒去检查上面配置的log失效时间(log.retention.hours=168 ),到目录查看是否有过期的消息如果有,删除
    log.cleaner.enable=false #是否启用log压缩,一般不用启用,启用的话可以提高性能
    zookeeper.connect=192.168.10.130:2181,192.168.10.130:2182,192.168.10.130:2183  #设置zookeeper的连接端口
    zookeeper.connection.timeout.ms=6000 #zookeeper的session的过期时间
    zookeeper.sync.time.ms=2000 #指定多久消费者更新offset到zookeeper中
    group.id=test-consumer-group #(必需)consumer组id
    consumer.timeout.ms=5000  #消费者超时
    auto.commit.enable=true #自动向zookeeper提交offset信息
    auto.commit.interval.ms=1000 #自动更新时间
    #consumer.id=xxx #当前consumer的标识,如果不设置会自动生成

    四、启动kafka前修改启动脚本 bin/kafka-server-start.sh

    将 export KAFKA_HEAP_OPTS="-Xmx1G-Xms1G"
    改为 export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

    五、启动kafka

    cd /opt/kafka/kafka_2.10-0.10.2.0
    bin/kafka-server-start.sh config/server.properties1
    bin/kafka-server-start.sh config/server.properties2
    bin/kafka-server-start.sh config/server.properties3

    当看到终端输出“[Kafka Server 0], started (kafka.server.KafkaServer)”等相关信息时,说明kafka集群启动成功。

    六、创建topic验证是否创建成功

    #创建Topic
    bin/kafka-topics.sh --create --zookeeper zookeeper_node:2181 --replication-factor 2 --partitions 1 --topic test
    #解释
    partitions指定topic分区数,replication-factor指定topic每个分区的副本数
    partitions分区数:
      partitions :分区数,控制topic将分片成多少个log。可以显示指定,如果不指定则会使用broker(server.properties)中的num.partitions配置的数量,
    虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多,会增加不可用及延迟的风险。因为多的分区数,意味着需要打开更
    多的文件句柄、增加点到点的延时、增加客户端的内存消耗。分区数也限制了consumer的并行度,即限制了并行consumer消息的线程数不能大于分区数,分区数也限制了
    producer发送消息是指定的分区。如创建topic时分区设置为1,producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的;这种情况可以通过
    alter –partitions 来增加分区数。
    replication-factor副本
      replication factor 控制消息保存在几个broker(服务器)上,一般情况下等于broker的个数。
      如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量
    #在控制台上创建一个发布者
    bin/kafka-console-producer.sh --broker-list kafka_node:9092 --topic test #在控制台创建一个消费者
    bin/kafka-console-consumer.sh --zookeeper zookeeper_node:2181 --topic test --from-beginning

     七、其他命令

    7.1、查看topic

    bin/kafka-topics.sh --list --zookeeper zookeeper_node:2181
    #就会显示我们创建的所有topic

    7.2、查看topic状态

    bin/kafka-topics.sh --describe --zookeeper zookeeper_node:12181 --topic test
    #下面是显示信息
    Topic:ssports    PartitionCount:1    ReplicationFactor:2    Configs:
    Topic: test      Partition: 0    Leader: 1    Replicas: 0,1    Isr: 1
    #分区为为1  复制因子为2   他的  shuaige的分区为0 
    #Replicas: 0,1   复制的为0,1

    7.3、增加Topic分区数

      为test增加分区

    bin/kafka-topics.sh --zookeeper zookeeper_node:2181  --alter --topic test --partitions 10

    7.4、删除Topic

      只会删除zookeeper中的元数据,消息文件需要自己删除

    bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper zookeeper_node:2181 --topic test

    7.5、查看Topic消费进度

      这个会显示出consumer group的offset情况, 必须参数为--group, 不指定--topic,默认为所有topic

    bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker
  • 相关阅读:
    ArrayList去除集合中自定义对象元素的重复值_对象的成员变量值相同
    去除ArrayList集合中重复字符串元素方式_思路:创建新集合方式
    21班_编程入门测试题
    jh_01_编程入门小案例练习
    排列算法
    HDOJ2030汉字统计
    HDOJ2029Palindromes _easy version
    HDOJ2028Lowest Common Multiple Plus
    HDOJ2027统计元音
    HDOJ2026首字母变大写
  • 原文地址:https://www.cnblogs.com/GnibChen/p/8489535.html
Copyright © 2011-2022 走看看