zoukankan      html  css  js  c++  java
  • Ubuntu 16下单机安装配置zookeeper和kafka

    环境说明:

    • os:Ubuntu 16.04
    • zookeeper:zookeeper 3.4.9
    • kafka:kafka_2.11-0.11.0.0
    • jdk:jdk 8(kafka启动需要使用到jdk)

    详细说明(以下所有操作均是在root用户下操作):

    一、jdk安装

    jdk分为以下几种:jre、openjdk、 oracle jdk,这里我们要安装的是oracle jdk(推荐安装)

    add-apt-repository ppa:webupd8team/java
    apt-get update
    apt-get install oracle-java8-installer
    apt-get install oracle-java8-set-default
    

    测试安装版本:

    二、安装配置zookeeper单机模式

    下载zookeeper 3.4.5,开始安装:

    cd /usr/local
    wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.5/zookeeper-3.4.5.tar.gz
    

    等待安装成功:

    解压:

    tar -zxvf zookeeper-3.4.9.tar.gz
    

    解压后同目录下便存在相同文件夹:

    切换到conf目录下:

    cd zookeeper-3.4.9/conf/
    

    复制zoo_sample.cfg到zoo.cfg:

    cp zoo_sample.cfg zoo.cfg
    

    然后编辑zoo.cfg如下(其它不用管,默认即可):

    initLimit=10
    syncLimit=5
    dataDir=/home/young/zookeeper/data
    clientPort=2181

    别忘了新建dataDir目录:

    mkdir /home/young/zookeeper/data
    

    为zookeeper创建环境变量,打开/etc/profile文件,并在最末尾添加如下内容:

    vi /etc/profile
    

    添加内容如下:

    export ZOOKEEPER_HOME=/home/young/zookeeper
    export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH
    

    配置完成之后,切换到zookeeper/bin目录下,启动服务:

    关闭服务:

    这里暂时先关闭zookeeper服务,防止下面使用kafka启动时报端口占用错误。

    三、安装配置kafka单机模式

    下载kafka

    cd /usr/local
    wget https://www.apache.org/dyn/closer.cgi?path=/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz
    

    解压:

    tar -zxvf kafka_2.11-0.11.0.0.tgz
    

    进入kafka/config目录下:

    以上文件是需要修改的文件,下面一个个修改配置:

    配置server.properties:

    以下为修改的,其他为默认即可:

    #broker.id需改成正整数,单机为1就好
    broker.id=1
    #指定端口号
    port=9092
    #localhost这一项还有其他要修改,详细见下面说明
    host.name=localhost
    #指定kafka的日志目录
    log.dirs=/usr/local/kafka_2.11-0.11.0.0/kafka-logs
    #连接zookeeper配置项,这里指定的是单机,所以只需要配置localhost,若是实际生产环境,需要在这里添加其他ip地址和端口号
    zookeeper.connect=localhost:2181
    

    配置zookeeper.properties:

    #数据目录
    dataDir=/usr/local/kafka_2.11-0.11.0.0/zookeeper/data
    #客户端端口
    clientPort=2181
    host.name=localhost
    

    配置producer.properties:

    zookeeper.connect=localhost:2181
    

    配置consumer.properties:

    zookeeper.connect=localhost:2181
    

    最后还需要拷贝几个jar文件到kafka的libs目录,分别是zookeeper-xxxx.jar、log4j-xxxx.jar、slf4j-simple-xxxx.jar,最后如下:

    四、kafka的使用

    启动zookeeper服务:

    bin/zookeeper-server-start.sh config/zookeeper.properties
    

    新开一个窗口启动kafka服务:

    bin/kafka-server-start.sh config/server.properties

    至此单机服务搭建已经全部完成。。。

  • 相关阅读:
    增加新分类daily——“每天学了啥?”
    gcc选项中的编译过程
    一个带路径复制的perl脚本
    git
    mysql explain 详解
    CentOS Python2.4升级到Python2.7
    mongoDb查询
    linux php 扩展
    php-redis 扩展安装
    redis Linux的安装方法
  • 原文地址:https://www.cnblogs.com/vipzhou/p/7235625.html
Copyright © 2011-2022 走看看