zoukankan      html  css  js  c++  java
  • Kafka的安装和配置

    安装Kafka的方式,分别为:单节点单Broker部署、单节点多Broker部署、集群部署(多节点多Broker)。实际生产环境中使用的是第三种方式,以集群的方式来部署Kafka

    Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafka的时候就没有安装ZK,那是因为Kafka内置了一个ZK,一般我们不使用它

    安装JDK(kafka依赖jdk)

    一、Kafka 单节点部署

    Kafka中单节点部署又分为两种,一种为单节点单Broker部署,一种为单节点多Broker部署。因为是单节点的Kafka,所以在安装ZK时也只需要单节点即可

    1、cd /usr/local/software  # 这里自定安装目录

    2、wget http://www.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz  # 下载kafka

    3、tar -xzvf kafka_2.11-0.8.2.1.tgz  # 解压

    4、mv kafka_2.11-0.8.2.1 /usr/local/kafka  # 移动到安装目录

    5、mkdir /usr/local/kafka/log/kafka  # 如果提示没有此目录则手动创建

    6、cd /usr/local/kafka/config # 进入配置目录

    7、vim server.properties 

    8、找到broker.id=0这一行,后面添加下面的内容

    port=9092 # 端口号

    host.name=192.168.5.56  # 服务器IP地址,修改为自己的服务器IP

    log.dirs=/usr/local/kafka/log/kafka  # 日志存放路径,上面创建的目录

    zookeeper.connect=localhost:2181  # zookeeper地址和端口,单机配置部署,localhost:2181

    9、mkdir /usr/local/kafka/zookeeper  # 创建zookeeper目录

    10、mkdir /usr/local/kafka/log/zookeeper  # 创建zookeeper日志目录

    11、cd /usr/local/kafka/config   # 进入配置目录

    12、vi zookeeper.properties #编辑修改相应的参数

    dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

    dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

    clientPort=2181

    maxClientCnxns=100

    tickTime=2000

    initLimit=10

    syncLimit=5

    13、cd /usr/local/kafka  # 创建启动脚本

    14、vi kafkastart.sh  # 这是新建一个脚本

    #!/bin/sh

    #启动zookeeper

    /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

    #等3秒后执行

    sleep 3

    #启动kafka

    /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

    15、vi kafkastop.sh # 创建关闭脚本

    #!/bin/sh

    #关闭zookeeper

    /usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

    sleep 3 #等3秒后执行

    #关闭kafka

    /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

     16、添加启动和关闭脚本的权限

    chmod +x kafkastart.sh

    chmod +x kafkastop.sh

    17、vi /etc/rc.d/rc.local  # 这个文件就在这个目录下有,设置脚本开机自动执行

    sh /usr/local/kafka/kafkastart.sh #启动kafka

    sh /usr/local/kafka/kafkastop.sh #关闭kafka

    18、jps -lm  # 查看kafka

  • 相关阅读:
    eclipse上传下载github
    GitHub整合idea 上传和下载
    Git安装与配置
    第八天springboot整合redis
    第七天.spring boot 整合mybatis并使用Junit进行测试
    ssm的各种配置资源
    Git相关软件下载
    Eclipse上传项目到GitHub
    SpringBoot使用spring data jpa及在页面yaml中显示
    spring boot 整合mybatis及使用Junit进行测试
  • 原文地址:https://www.cnblogs.com/shizhengquan/p/10956403.html
Copyright © 2011-2022 走看看