zoukankan      html  css  js  c++  java
  • Angel

    Angel - 模拟Kafka数据流调试FTRL的方法

    Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件,比如,新建一个名为streaming的文件夹

    mkdir streaming

    Zookeeper安装

    1.下载zookeeper

    这里使用的版本是3.4.11,下载页面是Zookeeper下载,当然你也可以直接输入下面的命令

    wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

    2.安装Zookeeper

    解压:

    tar zxvf zookeeper-3.4.11.tar.gz

    进入到解压好的zookeeper目录中,得到当前目录

    cd zookeeper-3.4.11
    pwd

    编辑你环境变量文件:/.bashrc或者其他文件(如是zsh,则为/.zshrc) 添加:

    export ZK_HOME=/your/zk/home  # 这里填写你pwd的结果
    export PATH=$PATH:$ZK_HOME/bin

    然后使之生效:

    source ~/.bashrc  # 刚才编辑的环境变量文件

    进入到配置目录:

    cd zookeeper-3.4.11/conf

    复制配置文件:

    cp zoo_sample.cfg  zoo.cfg

    将dataDir=/tmp/zookeeper修改为你的安装目录下的data文件夹

    3.启动zookeeper

    zkServer.sh start
    

    Kafka安装

    1.下载kafka

    回到刚才创建的streaming目录

    cd ../..

    你可以从kafka官网上下载:下载地址,也可以直接输入下面命令下载

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

    2.安装kafka

    解压:

    tar zxvf kafka_2.11-1.0.0.tgz

    修改zk相关的配置文件: 修改dataDir的值和刚才在zk中的值同步

    3.启动并创建topic

    启动kafka:

     bin/kafka-server-start.sh config/server.properties

    创建topic:

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

    其中:

    • zookeeper:如localhost:2181,表示zookeeper的地址
    • topic:topic的名字,如test1
    • partitions:topic的分区数,非特殊情况取1即可

    4.建立producer

    建立生产者来发送streaming数据,同样在kafka安装目录下,输入:

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1

    其中

    • broker-list:指定生产者要推送消息的broker地址
    • topic:指定topic,跟刚才建立的topic名字保持一致

    5.将需要发送的数据在producer端发送

    生产者建立后,生产者端一直处于等待发送数据状态。此时copy你需要发送的数据至生产者端,按回车即发送。

    6.消费者consumer端接收数据

    消费者端接收数据时,需要指定kafka端的三个信息:zookeeper地址,group名,topic名。其中zookeeper的地址以及topic的名字只需与上述过程的设置保持一致即可,如zookeeper地址为“localhost:2181”,topic名字为“test1”,group名可自己设定。

  • 相关阅读:
    Class constructor FileManager cannot be invoked without 'new' in undefined (line undefined, column undefined)
    vscode插件
    面试题
    使用NPOI读取word表格里面的图片
    Postgresql安装过程记录
    .net Core 新增Area的步骤
    kendo grid上的模版示例
    unicode与string之间的转换
    使用yarn安装puppeteer失败的解决方案
    abp第一篇《框架的下载与mysql数据库的切换》
  • 原文地址:https://www.cnblogs.com/suanec/p/9036723.html
Copyright © 2011-2022 走看看