zoukankan      html  css  js  c++  java
  • Kafka的安装和配置

    安装Kafka的方式,分别为:单节点单Broker部署、单节点多Broker部署、集群部署(多节点多Broker)。实际生产环境中使用的是第三种方式,以集群的方式来部署Kafka

    Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafka的时候就没有安装ZK,那是因为Kafka内置了一个ZK,一般我们不使用它

    安装JDK(kafka依赖jdk)

    一、Kafka 单节点部署

    Kafka中单节点部署又分为两种,一种为单节点单Broker部署,一种为单节点多Broker部署。因为是单节点的Kafka,所以在安装ZK时也只需要单节点即可

    1、cd /usr/local/software  # 这里自定安装目录

    2、wget http://www.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz  # 下载kafka

    3、tar -xzvf kafka_2.11-0.8.2.1.tgz  # 解压

    4、mv kafka_2.11-0.8.2.1 /usr/local/kafka  # 移动到安装目录

    5、mkdir /usr/local/kafka/log/kafka  # 如果提示没有此目录则手动创建

    6、cd /usr/local/kafka/config # 进入配置目录

    7、vim server.properties 

    8、找到broker.id=0这一行,后面添加下面的内容

    port=9092 # 端口号

    host.name=192.168.5.56  # 服务器IP地址,修改为自己的服务器IP

    log.dirs=/usr/local/kafka/log/kafka  # 日志存放路径,上面创建的目录

    zookeeper.connect=localhost:2181  # zookeeper地址和端口,单机配置部署,localhost:2181

    9、mkdir /usr/local/kafka/zookeeper  # 创建zookeeper目录

    10、mkdir /usr/local/kafka/log/zookeeper  # 创建zookeeper日志目录

    11、cd /usr/local/kafka/config   # 进入配置目录

    12、vi zookeeper.properties #编辑修改相应的参数

    dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

    dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

    clientPort=2181

    maxClientCnxns=100

    tickTime=2000

    initLimit=10

    syncLimit=5

    13、cd /usr/local/kafka  # 创建启动脚本

    14、vi kafkastart.sh  # 这是新建一个脚本

    #!/bin/sh

    #启动zookeeper

    /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

    #等3秒后执行

    sleep 3

    #启动kafka

    /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

    15、vi kafkastop.sh # 创建关闭脚本

    #!/bin/sh

    #关闭zookeeper

    /usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

    sleep 3 #等3秒后执行

    #关闭kafka

    /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

     16、添加启动和关闭脚本的权限

    chmod +x kafkastart.sh

    chmod +x kafkastop.sh

    17、vi /etc/rc.d/rc.local  # 这个文件就在这个目录下有,设置脚本开机自动执行

    sh /usr/local/kafka/kafkastart.sh #启动kafka

    sh /usr/local/kafka/kafkastop.sh #关闭kafka

    18、jps -lm  # 查看kafka

  • 相关阅读:
    RHEL6 建立DVD repo
    stl之std::remove_copy
    分鱼问题
    Nutch的日志系统
    log4j配置文件及nutch中的日志配置
    slf4j教程
    Java中的日期操作
    Avro基础
    【JAVA编码专题】总结
    【JAVA编码专题】深入分析 Java 中的中文编码问题
  • 原文地址:https://www.cnblogs.com/shizhengquan/p/10956403.html
Copyright © 2011-2022 走看看