zoukankan      html  css  js  c++  java
  • Kafka安装教程

    1、CentOS上的配置——关防火墙

    查看firewall的状态:firewall-cmd --state

    停止firewall:systemctl stop firewalld.service

    禁止firewall开机启动:systemctl disable firewalld.service

    查看默认防火墙状态(关闭后显示not running,开启后显示running):firewall-cmd --state

    2、安装kafka

    下载地址:https://kafka.apache.org/downloads

    wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

    tar -zxvf kafka_2.11-1.0.0.gz

    mv kafka_2.11-1.0.0 /usr/local/kafka/

    cd /usr/local/kafka/

    nano /usr/local/kafka/config/server.properties

    broker.id=1

    log.dir=/data/kafka/logs-1

    3、启动ZK

    cd /usr/local/kafka/

    bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

    启动KAFKA服务

    bin/kafka-server-start.sh config/server.properties

    4、话题TOPIC

    创建TOPIC:

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic jfzpoi

    bin/kafka-topics.sh --list --zookeeper localhost:2181

    如果报错网络不通,改ipv6的设置

    nano /etc/hosts

    127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 vmcentos

    ::1 ip6-localhost ip6-localhost.localdomain localhost6 localhost6.localdomain6

    查看TOPIC列表:

    cd /usr/local/kafka/

    bin/kafka-topics.sh --list --zookeeper localhost:2181

    产生消息:

    cd /usr/local/kafka/

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic jfzpoi

    消费消息:

    cd /usr/local/kafka/

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic jfzpoi --from-beginning

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic dataPackage --from-beginning

    查看描述TOPICS信息:

    cd /usr/local/kafka/

    bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic jfzpoi

    第一行给出了所有分区的摘要,每个附加行给出了关于一个分区的信息。 由于我们只有一个分区,所以只有一行。

    “Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。

    “Replicas”: 是复制此分区日志的节点列表,无论它们是否是领导者,或者即使他们当前处于活动状态。

    “Isr”: 是一组“同步”副本。这是复制品列表的子集,当前活着并被引导到领导者。

    集群配置:http://www.54tianzhisheng.cn/2018/01/04/Kafka/

  • 相关阅读:
    枚举
    枚举
    比特币中的密码学原理
    贪心
    dp
    二分
    mac解决matplotlib中文乱码
    Keras使用多个GPU并行
    pyspark使用-dataframe操作
    箱线图
  • 原文地址:https://www.cnblogs.com/sandeepin/p/kafka-install.html
Copyright © 2011-2022 走看看