zoukankan      html  css  js  c++  java
  • Kafka单机安装

    Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢
     
    介绍
    Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?
    首先让我们看几个基本的消息系统术语:
    •Kafka将消息以topic为单位进行归纳。
    •将向Kafka topic发布消息的程序成为producers.
    •将预订topics并消费消息的程序成为consumer.
    •Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker.
    producers通过网络将消息发送到Kafka集群,集群向消费者提供消息,如下图所示:
    客户端和服务端通过TCP协议通信。Kafka提供了Java客户端,并且对多种语言都提供了支持。
    说明:
    操作系统:CentOS 7.x 64位
    Kafka版本:kafka_2.11-0.8.2.1
    实现目的:
    单机安装配置kafka
    具体操作:
    一、关闭防火墙
    systemctl status firewalld.service

    永久关闭防火墙
    systemctl stop firewalld.service
    禁止开机启动防火墙
    systemctl disable firewalld.service

    关闭SELINUX
    vi /etc/selinux/config,进入编辑界面,SELINUX=enforcing前加#,
    文档末尾添加禁用SELINUX=disabled,然后按ESC退出,按:wq保存。用REBOOT进行重启。

    Reboot后再查看防火墙状态

    关闭: service iptables stop
    禁用: chkconfig iptables off
    二、安装JDK
    kafka运行需要JDK支持
    1、下载JDK
    http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm
    注意:直接复制到下载工具进行下载,版本请使用JDK7,JDK8有可能不兼容kafka_2.11-0.8.2.1
    下载完成之后,上传到/usr/local/src目录下
    2、安装JDK
    cd /usr/local/src
    chmod +x jdk-7u79-linux-x64.rpm # 添加执行权限
    rpm -ivh jdk-7u79-linux-x64.rpm #安装
    安装完成之后,可以cd /usr/java/ 到安装目录查看
    3、添加JDK到系统环境变量
    vi /etc/profile #编辑,在最后添加以下代码
    JAVA_HOME=/usr/java/jdk1.7.0_79
    PATH=$PATH:$JAVA_HOME/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin
    CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
    export JAVA_HOME
    export PATH
    export CLASSPATH
    :wq! #保存退出
    source /etc/profile #使配置文件立即生效
    java -version #查看JDK版本信息
    到此,JDK安装完成。
    三、安装kafka
    1、下载kafka
    cd /usr/local/src
    wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
    注意,kafka_2.11-0.8.2.1.tgz版本是已经编译好的版本,解压就能使用。
    tar -xzvf kafka_2.11-0.8.2.1.tgz #解压
    mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录
    2、配置kafka
    mkdir /usr/local/kafka/log/kafka #创建kafka日志目录
    cd /usr/local/kafka/config #进入配置目录
    vi server.properties #编辑修改相应的参数
    broker.id=0
    port=9092 #端口号
    host.name=192.168.5.56 #服务器IP地址,修改为自己的服务器IP
    log.dirs=/usr/local/kafka/log/kafka #日志存放路径,上面创建的目录
    zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181
    :wq! #保存退出
    3、配置zookeeper
    mkdir /usr/local/kafka/zookeeper #创建zookeeper目录
    mkdir /usr/local/kafka/log/zookeeper #创建zookeeper日志目录
    cd /usr/local/kafka/config #进入配置目录
    vi zookeeper.properties #编辑修改相应的参数
    dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录
    dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录
    clientPort=2181
    maxClientCnxns=100
    tickTime=2000
    initLimit=10
    syncLimit=5
    :wq! #保存退出
    四、创建启动、关闭kafka脚本
    cd /usr/local/kafka
    #创建启动脚本
    vi kafkastart.sh #编辑,添加以下代码
    #!/bin/sh
    #启动zookeeper
    /usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
    sleep 3 #等3秒后执行
    #启动kafka
    /usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &
    :wq! #保存退出
    #创建关闭脚本
    vi kafkastop.sh #编辑,添加以下代码
    #!/bin/sh
    #关闭zookeeper
    /usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
    sleep 3 #等3秒后执行
    #关闭kafka
    /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &
    :wq! #保存退出
    #添加脚本执行权限
    chmod +x kafkastart.sh
    chmod +x kafkastop.sh
    五、设置脚本开机自动执行
    vi /etc/rc.d/rc.local #编辑,在最后添加一行
    sh /usr/local/kafka/kafkastart.sh & #设置开机自动在后台运行c脚本
    :wq! #保存退出
    sh /usr/local/kafka/kafkastart.sh #启动kafka
    sh /usr/local/kafka/kafkastop.sh #关闭kafka
    至此,Linux下Kafka单机安装配置完成。

    参考资料:


    https://www.cnblogs.com/Robert-huge/p/5649826.html

    https://blog.csdn.net/fuyuwei2015/article/details/73379055

  • 相关阅读:
    java 面试每日一题2
    java 面试每日一题
    java GUI画满天星
    java JPEGImageEncoder;图像处理
    spring mvc+myBatis配置详解
    myeclipse 常用快捷键总结
    Java 如何快速序列化
    java UUID
    vue +echarts树状图
    在线预览(pptx、ppt、pps、docx、doc、xlsx、xls)
  • 原文地址:https://www.cnblogs.com/torn/p/11683613.html
Copyright © 2011-2022 走看看