zoukankan      html  css  js  c++  java
  • kafka环境搭建---Windows环境搭建

    kafka环境搭建---Windows环境搭建

    Kafka是使用zookeeper来进行的集群部署,要想使用kafka进行集群的话就需要安装zookeeper,而zookeeper是用Java编写的,因此zookeeper需要运行在Java环境上,那就需要安装Java环境,kafka环境搭建步骤如下,线安装Javajdk,在安装zookeeper,之后安装kafka,本文安装的是jdk-10_windows-x64版本。

    1、安装java jdk

      

    先安装jdk

      

    点击 下一步

     

    点击 更改 可以选择 安装目录,本文安装目录选择是:E:SoftJavajdk-10 

    然后点击 下一步

     

    安装jre,直接点击 下一步

     

    至此,安装完成

    Ctrl+R打开 cmd 输入 java --version,显示下面即表示安装java成功

      

    JDK环境变量配置 

    打开 计算机→属性→高级系统设置→高级→环境变量

     

    新建系统变量JAVA_HOME

    变量名:JAVA_HOME;变量值:E:SoftJavajdk-10刚刚的java安装目录

     

    编辑系统变量Path

    Windows10 电脑,新建变量值:%JAVA_HOME%in;%JAVA_HOME%jrein;

     

    新建系统变量CLASSPATH变量 

    变量名:CLASSPATH  变量值:%JAVA_HOME%lib;%JAVA_HOME%lib ools.jar

    2、安装zookeeper

    下载地址: https://zookeeper.apache.org/releases.html 

    下载ZooKeeper,目前最新的稳定版本为 3.6.1 版本,可以根据需要自行选择下载,本文选择的是3.4.14版本。

     

    Zookeeper有三个镜像地址,可以选择一个速度较快的镜像来下载,本文选择选则清华大学的国内镜像下载

     

    下载完成之后,zookeeper-3.4.14.tar.gz

     

    解压缩以后得到拷贝到指定文件夹下,zookeeper文件结构如下

     

    bin:zookeeper的可执行脚本目录,包括Zookeeper服务进程,Zookeeper客户端等脚本。其中.shLinux环境下的脚本,.cmdWindows环境下的脚本 

    conf:配置文件,zoo_sample.cfg为样例配置文件,使用的时候需要修改为zoo.cfglog4j.properties:日志配置文件 

    lib:Zookeeper需要的一些依赖的包 

    zookeeper-contrib:一些用于操作zookeeper的工具包 

    recipes:zookeeper的一些用法的代码示例 

    环境变量中配置

    新建系统变量ZOOKEEPER_HOME

    变量名:ZOOKEEPER_HOME;变量值:E:Softkafkaakzookeeper(刚刚的zookeeper安装目录)

       

    编辑系统变量Path

    Windows10 电脑,新建变量值:%ZOOKEEPER_HOME%in 

       

    运行zookeeper 

    修改conf目录下复制样例zoo_sample.cfg然后修改为zoo.cfg,zoo.cfg中的配置

    tickTime:基本时间度量单位,单位毫秒,客户端与服务端的心跳时间,客户端会话的超时时间等。tickTime的默认值为2000毫秒,

    clientPort:zookeeper服务进程监听的TCP端口,默认情况下,服务端会监听2181端口。

    dataDir:必须配置,用于配置存储快照文件的目录,如果没有配置dataLogDir,那么事务日志也会存储在此目录。 

    启动zookeeper服务

    Windows环境下,直接双击bin目录下的zkServer.cmd即可,Linux环境下,需要切换到bin目录,然年后执行命令./zkServer.sh start,前台运行:./zkServer.sh start-foreground

    Zookeeper服务启动的时候会调用zkEnv.cmd或者zkEnv.sh脚本。zkEnv脚本的作用是设置zk运行的一些环境变量,如配置文件的位置和名称等 

    也可以Ctrl+R  启动cmd命令界面 输入zkserver 启动服务zookeeper服务

    客户端连接zookeeper服务 

    Windows环境下直接双击bin目录下的zkCli.cmd,Linux环境下,需要切换到bin目录,然年后执行命令./zkCli.sh即可连接上zookeeper

    直接执行zkCli.cmd或者zkCli.sh命令默认以主机号 127.0.0.1,端口号 2181 来连接zookeeper,拦截指定的zookeeper服务器的话需要执行带有-server ip:port参数的命令,如./zkCli.sh -server 192.168.88.188:2181

    3、安装kafka

    下载地址: http://kafka.apache.org/downloads

    下载kafka,目前最新的稳定版本为2.6,kafka_2.13-2.6.0.tgz版本,可以根据需要自行选择下载,本文选择的是kafka_2.13-2.5.0.tgz版本。

    Kafka有三个镜像地址,可以选择一个速度较快的镜像来下载,本文选择选则清华大学的国内镜像下载

    下载完成之后,kafka_2.13-2.5.0.tgz

    解压缩以后得到拷贝到指定文件夹下,kafka文件结构如下

     

    bin:kafka的可执行脚本目录,包括kafka服务进程,其中.shLinux环境下的脚本,.batWindows环境下的脚本

    conf:配置文件

    libs:kafka需要的一些依赖的jar包

    logs:kafka日志文件

    环境变量中配置

    在环境变量中配path添加 C:WINDOWSsystem32wbem

     

    启动kafka服务 

    E:Softkafkakafka_2.13-2.5.0下执行 

    .inwindowskafka-server-start.bat .configserver.properties 

    步骤如下: 

    打开E:Softkafkakafka_2.13-2.5.0目录,输入cmd 回车

     

    cmd中输入  .inwindowskafka-server-start.bat .configserver.properties

     

    看到上述界面,即可表示Kafka 启动成功 

    kafka-manage 界面管理工具 

    下载kafka-manager 地址:https://github.com/yahoo/CMAK/releases

    最新版本是3.0.0.5版本在页面中的最下面点击next可以选择其他版本,这里我们下载 1.3.3.7 版本

    下载完成之后,kafka-manager-1.3.3.7.zip

    解压缩以后得到拷贝到指定文件夹下,kafka-manager-1.3.3.7文件结构如下

    bin:kafka-manager的可执行脚本目录,kafka-manager.batWindows环境下的脚本

    conf:kafka-manager配置文件

    libs:kafka-manager需要的一些依赖的jar包

    logs:kafka-manager日志文件

    启动kafka-manage 界面管理工具  

    双击bin下的kafka-manager.bat 即可启动kafka-managerkafka-manager 端口号默认是 9000

     

      

    在浏览器地址栏中输入:http://localhost:9000/

     

    注意:

    1Windows环境下,zookeeper,kafaka,kafka_manager一般都是直接点击对应bin目录的.cmd, .bat等即可启动相应的服务。

    2kafka服务器的集群是通过zookeeper来进行集群部署的,对于zookeeper部署kafka集群模式下一般最好使用3个以上的kafka服务器,

    这样的话一方面达到最低要求,另一方面可以进行负责均衡,这样可以提高kafka集群的高可用。

     

     

     

  • 相关阅读:
    进程池Pool
    进程间通信-Queue
    多任务版udp聊天器
    列表循环放引用并写出打印结果
    协程实现tcp两个客户端的通讯
    正则匹配身份证和邮箱
    python中上双互斥锁的线程执行流程
    小巧的http live streaming m3u8播放器
    js实现@提到好友
    mongoose多级嵌套操作
  • 原文地址:https://www.cnblogs.com/1175429393wljblog/p/13491891.html
Copyright © 2011-2022 走看看