zoukankan      html  css  js  c++  java
  • kafka集群的搭建

    1. Kafka下载:
    wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz
    解压 tar zxvf kafka_2.9.2-0.8.1.tgz
    (2.9.2为scala的版本 0.8.1为kafka地址)
    2.下载安装sbt:
    wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm
    (有时候下载不了可以到http://dl.bintray.com/sbt/rpm/ 手工下载对应版本)
    安装 yum install -y sbt-0.13.1.rpm 或者 rpm -ivh sbt-0.13.1.rpm(which sbt 可以测试环境变量有没)

    tar -xvzf  kafka_2.9.2-0.8.1.tgz 解压

    cd kafka_2.9.2-0.8.1.tgz

    sbt update(比较慢)

    完成后sbt package

    到kafka_2.9.2-0.8.1 的解压目录下面的conf配置 配置文件

    1.server.properties (企业通常会修改下图几项)

    log.dirs=/opt/soft/kafka/kafka_2.9.2-0.8.1/logs(日志目录。目录自己创建)

    zookeeper.connect=master:2181,slave1:2181(对应自己的host 没配置就用IP 配置上集群机器)

    producer.properties

    metadata.broker.list=master:9092,slave1:9092

    consumer.properties

    zookeeper.connect=master:2181,slave1:2181

    安装配置完成。

    同样再配置别的机器比如slave1。

    需要scp 配置文件过去 然后server.properties 的broker.id=0要修改为1,和创建下logs的保存文件夹(记得)

    启动和测试kafka

    1 启动集群zookeeper

    cd 到bin目录下 ./kafka-server-start.sh ../config/server.properties 启动kafka进程(master,slave1都启动)

    启动成功的话会看到:

    启动成功后可以通过jps查看当前挂起的kafka进程

    35954 Jps
    33829 QuorumPeerMain
    35431 Kafka
    2452 Main

    2.创建kafkatoipc和为其指定partition命令

    kafka-topics.sh --zookeeper master:2181,slave1:2181 --topic track_log --replication-factor 2 --partitions 2 --creat

    出现‘Created topic "track_log".’即为成功

    启动kafka后在zookeeper中可以看到borker目录

    查看topic明细

    kafka-topics.sh --topic track_log --describe --zookeeper master:2181,slave1:2181

    此时leader是相对于border来讲的(每个分区也必须选择出一个leader)

    测试生产和消费可以使用命令

    kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic track_log

    键入值得

    kafka-console-consumer.sh --zookeeper master:2181,slave1:2181 --topic track_log --from-beginning

    printf消费的值

  • 相关阅读:
    day06-Java方法和数组(二)
    day05作业-----------Java方法和数组
    day01作业-------------Java概述
    day04--Java流程控制
    获取数据库连接对象的方法
    oracle数据库时间的处理
    把页面获得的String格式的时间转换成date存入到数据库
    复选下拉菜单
    log4j实现日志记录(搬运)
    js点击按钮打开下拉菜单,再次点击关闭的简单办法
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/5538807.html
Copyright © 2011-2022 走看看