zoukankan      html  css  js  c++  java
  • kafka集群的搭建

    1. Kafka下载:
    wget https://archive.apache.org/dist/kafka/0.8.1/kafka_2.9.2-0.8.1.tgz
    解压 tar zxvf kafka_2.9.2-0.8.1.tgz
    (2.9.2为scala的版本 0.8.1为kafka地址)
    2.下载安装sbt:
    wget http://repo.scala-sbt.org/scalasbt/sbt-native-packages/org/scala-sbt/sbt/0.13.1/sbt.rpm
    (有时候下载不了可以到http://dl.bintray.com/sbt/rpm/ 手工下载对应版本)
    安装 yum install -y sbt-0.13.1.rpm 或者 rpm -ivh sbt-0.13.1.rpm(which sbt 可以测试环境变量有没)

    tar -xvzf  kafka_2.9.2-0.8.1.tgz 解压

    cd kafka_2.9.2-0.8.1.tgz

    sbt update(比较慢)

    完成后sbt package

    到kafka_2.9.2-0.8.1 的解压目录下面的conf配置 配置文件

    1.server.properties (企业通常会修改下图几项)

    log.dirs=/opt/soft/kafka/kafka_2.9.2-0.8.1/logs(日志目录。目录自己创建)

    zookeeper.connect=master:2181,slave1:2181(对应自己的host 没配置就用IP 配置上集群机器)

    producer.properties

    metadata.broker.list=master:9092,slave1:9092

    consumer.properties

    zookeeper.connect=master:2181,slave1:2181

    安装配置完成。

    同样再配置别的机器比如slave1。

    需要scp 配置文件过去 然后server.properties 的broker.id=0要修改为1,和创建下logs的保存文件夹(记得)

    启动和测试kafka

    1 启动集群zookeeper

    cd 到bin目录下 ./kafka-server-start.sh ../config/server.properties 启动kafka进程(master,slave1都启动)

    启动成功的话会看到:

    启动成功后可以通过jps查看当前挂起的kafka进程

    35954 Jps
    33829 QuorumPeerMain
    35431 Kafka
    2452 Main

    2.创建kafkatoipc和为其指定partition命令

    kafka-topics.sh --zookeeper master:2181,slave1:2181 --topic track_log --replication-factor 2 --partitions 2 --creat

    出现‘Created topic "track_log".’即为成功

    启动kafka后在zookeeper中可以看到borker目录

    查看topic明细

    kafka-topics.sh --topic track_log --describe --zookeeper master:2181,slave1:2181

    此时leader是相对于border来讲的(每个分区也必须选择出一个leader)

    测试生产和消费可以使用命令

    kafka-console-producer.sh --broker-list master:9092,slave1:9092 --topic track_log

    键入值得

    kafka-console-consumer.sh --zookeeper master:2181,slave1:2181 --topic track_log --from-beginning

    printf消费的值

  • 相关阅读:
    Java设计模式四: 原型模式(Prototype Pattern)
    Java设计模式六:观察者模式(Observer)
    Java设计模式九:状态模式(State)
    Windows 8 开发系列 自定义Gridview 绑定列表数据时出错
    Windows 8 开发系列如何修改系统样式
    Windows 8 开发系列全局资源App.xml的ContentFontsize会导致应用退出
    Windows 8 开发系列如何使状态栏不重复点击
    thinkpad E430 如何实现Fn键锁定或和功能键互换顺序
    Windows 8 开发系列应用挂起
    Windows 8 Metro 应用开发App Bar问题
  • 原文地址:https://www.cnblogs.com/yaohaitao/p/5538807.html
Copyright © 2011-2022 走看看