zoukankan      html  css  js  c++  java
  • Kafka安装教程

    1、CentOS上的配置——关防火墙

    查看firewall的状态:firewall-cmd --state

    停止firewall:systemctl stop firewalld.service

    禁止firewall开机启动:systemctl disable firewalld.service

    查看默认防火墙状态(关闭后显示not running,开启后显示running):firewall-cmd --state

    2、安装kafka

    下载地址:https://kafka.apache.org/downloads

    wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

    tar -zxvf kafka_2.11-1.0.0.gz

    mv kafka_2.11-1.0.0 /usr/local/kafka/

    cd /usr/local/kafka/

    nano /usr/local/kafka/config/server.properties

    broker.id=1

    log.dir=/data/kafka/logs-1

    3、启动ZK

    cd /usr/local/kafka/

    bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

    启动KAFKA服务

    bin/kafka-server-start.sh config/server.properties

    4、话题TOPIC

    创建TOPIC:

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic jfzpoi

    bin/kafka-topics.sh --list --zookeeper localhost:2181

    如果报错网络不通,改ipv6的设置

    nano /etc/hosts

    127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 vmcentos

    ::1 ip6-localhost ip6-localhost.localdomain localhost6 localhost6.localdomain6

    查看TOPIC列表:

    cd /usr/local/kafka/

    bin/kafka-topics.sh --list --zookeeper localhost:2181

    产生消息:

    cd /usr/local/kafka/

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic jfzpoi

    消费消息:

    cd /usr/local/kafka/

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic jfzpoi --from-beginning

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dataPackage --from-beginning

    查看描述TOPICS信息:

    cd /usr/local/kafka/

    bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic jfzpoi

    第一行给出了所有分区的摘要,每个附加行给出了关于一个分区的信息。 由于我们只有一个分区,所以只有一行。

    “Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。

    “Replicas”: 是复制此分区日志的节点列表,无论它们是否是领导者,或者即使他们当前处于活动状态。

    “Isr”: 是一组“同步”副本。这是复制品列表的子集,当前活着并被引导到领导者。

    集群配置:http://www.54tianzhisheng.cn/2018/01/04/Kafka/

  • 相关阅读:
    MIne FirstBlog
    P6563 [SBCOI2020]一直在你身旁
    P6563 [SBCOI2020]一直在你身旁
    T122085 [SBCOI2020]时光的流逝
    LC 918. Maximum Sum Circular Subarray
    1026 Table Tennis
    LC 1442. Count Triplets That Can Form Two Arrays of Equal XOR
    LC 1316. Distinct Echo Substrings
    LC 493. Reverse Pairs
    1029 Median (二分)
  • 原文地址:https://www.cnblogs.com/sandeepin/p/kafka-install.html
Copyright © 2011-2022 走看看