zoukankan      html  css  js  c++  java
  • linux上安装Kafka

    写个一篇kafka文章了。但是那都是针对性能来说的,下面看一下完整的,kafka步骤:

    安装单机三个 Broker 的 Kafka 集群,使用 Kafka 集群发布和接收消息。学完本课程,对 Kafka 有个初步的认识

    2.1 Kafka 简介

    Kafka 是一个高吞吐量的分布式发布订阅消息系统,解耦了消息生产者和消息消费者。与大数据框架 Spark 配合使用,可以实现数据的实时流处理,目前做大数据相关的项目,都会用到 Kafka 消息系统。

    理解 Kafka 的整体架构,可以用现实生活中我们经常做的一件事——收发邮件来做类比。公司中同事之间的邮件交流经常发生,比如小王给小李发邮件,邮件会先被发送到邮件服务器(如新浪邮件服务器),小李可以立即收取邮件,也可以到第二天才收取邮件。

    邮件的发送过程用下图来表示:

    此处输入图片的描述

    小王发送邮件,发送的邮件存储到邮件服务器;小李从邮件服务器上读取邮件。这里的邮件服务器相当于一个中间人,用于存储小王和小李交互的数据(邮件)。

    Kafka 的整体架构实现了上述例子的类似功能,对比上面邮件发送的示意图,用 Kafka 来实现类似功能:

    此处输入图片的描述

    生产者生产消息,将消息发送到 Kafka 服务器;消费者消费消息,从 Kafka 服务器读取消息。这里的 Kafka 服务器相当于一个中间人,用于存储生产者和消费者交互的数据(消息)。

    三、实验步骤

    3.1 安装 Kafka 集群

    在实验楼环境中,打开 xfce 终端,依次执行如下命令:

    #切换到 opt 目录
    cd /opt 
    
    #下载 Kafka 软件包到当前目录中
    sudo wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
    

    此处输入图片的描述

    接着运行如下命令:

    #解压 Kafka 软件包
    sudo tar –zxvf  kafka_2.10-0.10.2.1.tgz
    

    此处输入图片的描述

    接着运行如下命令:

    #重命名 Kafka 软件包文件夹名称为 kafka
    sudo mv kafka_2.10-0.10.2.1  kafka
    

    此处输入图片的描述

    依次接着运行如下命令:

    #进入到kafka软件包的 config 目录
    cd  /opt/kafka/config
    
    #列出当前 config 文件下的文件,可以看到有个 server.properties 文件
    ll 
    
    #复制 server.properties 文件为 server-1.properties
    sudo cp  server.properties server-1.properties sudo cp  
    
    #复制 server.properties 文件为 server-2.properties
    server.properties server-2.properties
    

    此处输入图片的描述

    到目前为止,我们下载了 Kafka 软件包,解压了 Kafka 软件包,重命名 Kafka 软件目录名称,复制了 Kafka 配置文件

  • 相关阅读:
    boost库的使用介绍
    《架构实战软件架构设计的过程》
    常用开发命令
    《项目管理最佳实践案例剖析》
    From Live Writer
    希望实现的程序
    正在进行调试的Web服务器进程已由Internet信息服务(IIS)终止。可以通过在IIS中配置应用程序池Ping设置来避免这一问题。有关更多详细信息,请参见“帮助”
    请确保此代码文件中定义的类与“inherits”属性匹配
    更改IE默认源代码编辑器
    MS的.net源码地址
  • 原文地址:https://www.cnblogs.com/huojg-21442/p/7569237.html
Copyright © 2011-2022 走看看