zoukankan      html  css  js  c++  java
  • zookeeper和kafka集群源码搭建

    一、下载zookeeper,kafka,java

    1 网盘下载

    版本号不能选:zookeeper-3.6.1,kafka_2.13-2.5.0,jdk-8u241

    https://pan.baidu.com/share/init?surl=8cYaxW_8gDtM4wR32nH1Sg

    提取码:g9gz

    2 网站下载

    可以选择版本号

    https://www.oracle.com/java/technologies/javase-downloads.html

    https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/

    https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/

    3 集群环境

    centos7 1.1.1.3 jdk1.8.0_241+zookeeper-3.4.14+kafak_2.13-2.5.0
    centos7 1.1.1.4 jdk1.8.0_241+zookeeper-3.4.14+kafak_2.13-2.5.0
    centos7 1.1.1.5 jdk1.8.0_241+zookeeper-3.4.14+kafak_2.13-2.5.0

    二、部署

    1 java环境安装

    https://www.cnblogs.com/gudanaimei/p/12525325.html

    2 安装zookeeper

    2.1 解压,包已上传到/tmp目录下

    tar -xzvf /tmp/zk/zookeeper-3.4.14.tar.gz -C /app

    2.2 修改配置文件

    三台主机的配置文件一样

    mv /app/zookeeper-3.4.14/conf/zoo_sample.cfg /app/zookeeper-3.4.14/conf/zoo.cfg
    
    
    vi
    /app/zookeeper-3.4.14/conf/zoo.cfg 删掉所有内容,加入 #心跳检测,默认2s tickTime=2000 #集群中的follower服务器(F)与leader服务器初始连接时经过几个心跳才超时 initLimit=10 #群中的follower服务器(F)与leader服务器请求和应答经过几个心跳数才超时 syncLimit=5 #zookeeper数据目录 dataDir=/app/data/zookeeper #客户端连接zookeeper服务器的端口,默认2181 clientPort=2181 #zookeeper集群 #111,222,333为id,集群里唯一 #Flower 跟 Leader的通信端口,即服务端内部通信的端口,默认2888 #选举端口,默认3888 server.111=1.1.1.3:2888:3888 server.222=1.1.1.4:2888:3888 server.333=1.1.1.5:2888:3888

    2.3 创建zookeeper所需要的目录和myid文件

    注意主机不同,myid内容也不同

    在1.1.1.3主机上
    mkdir /app/data/zookeeper -p
    echo "111">>/app/data/zookeeper/myid
    
    在1.1.1.4主机上
    mkdir /app/data/zookeeper -p
    echo "222">>/app/data/zookeeper/myid
    
    在1.1.1.5主机上
    mkdir /app/data/zookeeper -p
    echo "333">>/app/data/zookeeper/myid

    2.4 三台主机上启动zookeeper

    /app/zookeeper-3.4.14/bin/zkServer.sh start

    2.5 三台主机上查看状态

    /app/zookeeper-3.4.14/bin/zkServer.sh status

    3 安装kafka

    3.1解压

    tar -xzvf /tmp/zk/kafka_2.13-2.5.0.tgz -C /app

    3.2 修改配置文件

    kafka配置文件详解请看

    https://www.cnblogs.com/gudanaimei/p/13282685.html

    在1.1.1.3主机上

    vi /app/kafka_2.13-2.5.0/config/server.properties
    
    删掉所有内容,加入 broker.id
    =1 listeners=PLAINTEXT://1.1.1.3:9092 num.network.threads=3 num.io.threads=8 socket.send.buffer.bytes=102400 socket.receive.buffer.bytes=102400 socket.request.max.bytes=104857600 zookeeper.connect=1.1.1.3:2181,1.1.1.4:2181,1.1.1.5:2181 zookeeper.connection.timeout.ms=18000 log.dirs=/tmp/kafka-logs log.retention.hours=168 log.segment.bytes=1073741824 log.retention.check.interval.ms=300000 num.partitions=1 offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 group.initial.rebalance.delay.ms=0

    在1.1.1.4主机上

    vi /app/kafka_2.13-2.5.0/config/server.properties
    删掉所有内容,加入
    
    broker.id=3
    listeners=PLAINTEXT://1.1.1.4:9092
    num.network.threads=3
    num.io.threads=8
    socket.send.buffer.bytes=102400
    socket.receive.buffer.bytes=102400
    socket.request.max.bytes=104857600
    log.dirs=/app/data/kafka-logs
    num.partitions=1
    num.recovery.threads.per.data.dir=1
    offsets.topic.replication.factor=1
    transaction.state.log.replication.factor=1
    transaction.state.log.min.isr=1
    log.retention.hours=168
    log.segment.bytes=1073741824
    log.retention.check.interval.ms=300000
    zookeeper.connect=1.1.1.3:2181,1.1.1.4:2181,1.1.1.5:2181
    zookeeper.connection.timeout.ms=18000
    group.initial.rebalance.delay.ms=0

    在1.1.1.5主机上

    vi /app/kafka_2.13-2.5.0/config/server.properties
    删掉所有内容,加入
    
    broker.id=3
    listeners=PLAINTEXT://1.1.1.5:9092
    num.network.threads=3
    num.io.threads=8
    socket.send.buffer.bytes=102400
    socket.receive.buffer.bytes=102400
    socket.request.max.bytes=104857600
    log.dirs=/app/data/kafka-logs
    num.partitions=1
    num.recovery.threads.per.data.dir=1
    offsets.topic.replication.factor=1
    transaction.state.log.replication.factor=1
    transaction.state.log.min.isr=1
    log.retention.hours=168
    log.segment.bytes=1073741824
    log.retention.check.interval.ms=300000
    zookeeper.connect=1.1.1.3:2181,1.1.1.4:2181,1.1.1.5:2181
    zookeeper.connection.timeout.ms=18000
    group.initial.rebalance.delay.ms=0

    3.3 三台主机上启动kafka

    -daemon以守护进程后台启动
    /app/kafka_2.13-2.5.0/bin/kafka-server-start.sh -daemon /app/kafka_2.13-2.5.0/config/server.properties
    
    查看一下服务是否启动
    ps -ef|grep kafka|grep -v grep
  • 相关阅读:
    StringBuider 在什么条件下使用效率更高?
    Hibernate 与 Mybatis 如何共存?打破你的认知!
    牛逼!OpenJDK 源码要迁移到 GitHub 了!
    别在网上乱找代码了,找了一段代码突然爆了!!!
    8 条关于 Web 前端性能的优化建议
    关于 equals 和 hashCode,看这一篇真的够了!
    Python web之Python如何调用REST服务?
    ArcGIS Server如何发布gp服务
    ArcGIS坐标单位转换(米和度分秒之间是如何转换的?)
    ArcGIS MapServer和FeatureServer的区别
  • 原文地址:https://www.cnblogs.com/gudanaimei/p/13282674.html
Copyright © 2011-2022 走看看