zoukankan      html  css  js  c++  java
  • 解决 logstash 6.4.0 无法配置output到kafka

    启动报错信息

    [2020-08-19T10:54:34,504][ERROR][logstash.outputs.kafka   ] Unable to create Kafka producer from given configuration 
    {:kafka_error_message=>org.apache.kafka.common.config.ConfigException: Invalid value 32768 for configuration receive.buffer.bytes: Expected value to be a 32-bit integer, but it was a java.lang.Long, :cause=>nil}

      

    官网提示

    logstash6.4.0配置output到kafka会有这个bug,可以通过更新logstash-output-kafka插件解决

    https://www.elastic.co/guide/en/logstash/6.7/logstash-6-4-0.html

    官网给出执行下面的命令解决:

    bin/logstash-plugin update logstash-output-kafka

    但是执行更新一直等待卡住没有响应,于是...

     先查看已安装的插件

    本人的目录如下,并能看到已安装 logstash-output-kafka-7.1.2
    /work/logstash-6.4.0/vendor/bundle/jruby/2.3.0/gems
    或者执行命令查看已安装插件
    bin/logstash-plugin list --verbose

    执行命令如果遇到报错

    Gem::LoadError: You have already activated jruby-openssl 0.10.4, but your Gemfile requires jruby-openssl 0.10.1. Prepending `bundle exec` to your command may solve this.

    原因 :

    1. logstash 已激活使用 jruby-openssl 0.10.4

    2. /work/logstash-6.4.0/ 目录有2个文件(与bin同级):Gemfile 和 Gemfile.lock 却还是  jruby-openssl 0.10.1

    解决:

    参考国内 RubyGems 镜像:https://gems.ruby-china.com/ 可以找到语法

    添加/修改,上面提到的2个文件 :

    vim Gemfile
    添加/修改内容为: gem
    'jruby-openssl', '~> 0.10.4' vim Gemfile.lock
    修改: jruby
    -openssl (0.10.1-java) 改为 jruby-openssl (0.10.4-java)

     安装7.1.3版本的 logstash-output-kafka 插件

    $ cd /work/logstash-6.4.0/bin
    $ ./logstash-plugin install --version 7.1.3 logstash-output-kafka
    Validating logstash-output-kafka-7.1.3
    Installing logstash-output-kafka
    Installation successful

     重新启动logstash即可

  • 相关阅读:
    flask与Django的区别
    flask特殊装饰器
    flaskjinjia2模板
    flask类视图
    flask路由系统
    flask初识
    python2与python3 的安装与环境变量的添加
    WebGL_0007:强制横屏的参考
    NodeJS_0011:nodejs重定向到一个链接或本地的页面的方法
    NodeJS_0006:nodejs响应超时处理
  • 原文地址:https://www.cnblogs.com/levi125/p/13529226.html
Copyright © 2011-2022 走看看