zoukankan      html  css  js  c++  java
  • Angel

    Angel - 模拟Kafka数据流调试FTRL的方法

    Mac或者Linux版本(Win10的Linux子系统同样适用) 创建一个目录用来安装kafka以及zookeeper等相关软件,比如,新建一个名为streaming的文件夹

    mkdir streaming

    Zookeeper安装

    1.下载zookeeper

    这里使用的版本是3.4.11,下载页面是Zookeeper下载,当然你也可以直接输入下面的命令

    wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz

    2.安装Zookeeper

    解压:

    tar zxvf zookeeper-3.4.11.tar.gz

    进入到解压好的zookeeper目录中,得到当前目录

    cd zookeeper-3.4.11
    pwd

    编辑你环境变量文件:/.bashrc或者其他文件(如是zsh,则为/.zshrc) 添加:

    export ZK_HOME=/your/zk/home  # 这里填写你pwd的结果
    export PATH=$PATH:$ZK_HOME/bin

    然后使之生效:

    source ~/.bashrc  # 刚才编辑的环境变量文件

    进入到配置目录:

    cd zookeeper-3.4.11/conf

    复制配置文件:

    cp zoo_sample.cfg  zoo.cfg

    将dataDir=/tmp/zookeeper修改为你的安装目录下的data文件夹

    3.启动zookeeper

    zkServer.sh start
    

    Kafka安装

    1.下载kafka

    回到刚才创建的streaming目录

    cd ../..

    你可以从kafka官网上下载:下载地址,也可以直接输入下面命令下载

    wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

    2.安装kafka

    解压:

    tar zxvf kafka_2.11-1.0.0.tgz

    修改zk相关的配置文件: 修改dataDir的值和刚才在zk中的值同步

    3.启动并创建topic

    启动kafka:

     bin/kafka-server-start.sh config/server.properties

    创建topic:

    bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

    其中:

    • zookeeper:如localhost:2181,表示zookeeper的地址
    • topic:topic的名字,如test1
    • partitions:topic的分区数,非特殊情况取1即可

    4.建立producer

    建立生产者来发送streaming数据,同样在kafka安装目录下,输入:

    bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test1

    其中

    • broker-list:指定生产者要推送消息的broker地址
    • topic:指定topic,跟刚才建立的topic名字保持一致

    5.将需要发送的数据在producer端发送

    生产者建立后,生产者端一直处于等待发送数据状态。此时copy你需要发送的数据至生产者端,按回车即发送。

    6.消费者consumer端接收数据

    消费者端接收数据时,需要指定kafka端的三个信息:zookeeper地址,group名,topic名。其中zookeeper的地址以及topic的名字只需与上述过程的设置保持一致即可,如zookeeper地址为“localhost:2181”,topic名字为“test1”,group名可自己设定。

  • 相关阅读:
    win10 uwp 弹起键盘不隐藏界面元素
    win10 uwp 存放网络图片到本地
    win10 uwp 存放网络图片到本地
    sublime Text 正则替换
    sublime Text 正则替换
    win10 uwp 绘图 Line 控件使用
    win10 uwp 绘图 Line 控件使用
    AJAX 是什么?
    什么是 PHP SimpleXML?
    PHP XML DOM:DOM 是什么?
  • 原文地址:https://www.cnblogs.com/suanec/p/9036723.html
Copyright © 2011-2022 走看看