zoukankan      html  css  js  c++  java
  • 新闻实时分析系统-Kafka分布式集群部署

    Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。

    1.下载Kafka并安装

     

    1)下载Apache版本的Kafka。

    2)下载Cloudera版本的Kafka。

    3)这里选择下载Apache版本的kafka_2.11-0.8.2.1.tgz ,然后上传至bigdata-pro01.kfk.com节点/opt/softwares/目录下

    4)解压Kafka

    tar -zxf kafka_2.11-0.8.2.1.tgz  -C /opt/modules/

    2.Kafka集群配置

    1)配置server.properties文件

    vi kafka_2.11-0.8.2.1

    #节点唯一标识

    broker.id=0

    #默认端口号

    port=9092

    #主机名绑定

    host.name=bigdata-pro01.kfk.com

    #Kafka数据目录

    log.dirs=/opt/modules/kafka_2.11-0.8.2.1/tmp/kafka-logs

    #配置Zookeeper

    zookeeper.connect=bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181

    2)配置zookeeper.properties文件

    vi zookeeper.properties

    #Zookeeper的数据存储路径与Zookeeper集群配置保持一致

    dataDir=/opt/modules/zookeeper-3.4.5-cdh5.10.0/zkData

    3)配置consumer.properties文件

    #配置Zookeeper地址

    zookeeper.connect=bigdata-pro01.kfk.com:2181,bigdata-pro02.kfk.com:2181,bigdata-pro03.kfk.com:2181

    4)配置producer.properties文件

    #配置Kafka集群地址

    metadata.broker.list=bigdata-pro01.kfk.com:9092,bigdata-pro02.kfk.com:9092,bigdata-pro03.kfk.com:9092

    5)Kafka分发到其他节点

    scp -r kafka_2.11-0.8.2.1 bigdata-pro02.kfk.com:/opt/modules/

    scp -r kafka_2.11-0.8.2.1 bigdata-pro03.kfk.com:/opt/modules/

    6)修改另外两个节点的server.properties

    #bigdata-pro02.kfk.com节点

    broker.id=1

    host.name=bigdata-pro02.kfk.com

    #bigdata-pro03.kfk.com节点

    broker.id=2

    host.name=bigdata-pro03.kfk.com

    3.启动Kafka集群并进行测试

    1)各个节点启动Zookeeper集群

    bin/zkServer.sh start

    2)各个节点启动Kafka集群

    bin/kafka-server-start.sh config/server.properties &

    3)创建topic

    bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic test --replication-factor 1 --partitions 1

    4)查看topic列表

    bin/kafka-topics.sh --zookeeper localhost:2181 --list

    5)生产者生成数据

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    6)消费者消费数据

    bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

  • 相关阅读:
    loj6033.「雅礼集训 2017 Day2」棋盘游戏
    loj6032. 「雅礼集训 2017 Day2」水箱
    BZOJ 5217 [Lydsy2017省队十连测] 航海舰队
    P4173 残缺的字符串
    P3723 [AH2017/HNOI2017]礼物
    P3321 [SDOI2015]序列统计
    P4841 [集训队作业2013]城市规划
    MySQL基础
    MySQL查询
    HTTP响应码
  • 原文地址:https://www.cnblogs.com/misliu/p/10942598.html
Copyright © 2011-2022 走看看