zoukankan      html  css  js  c++  java
  • Logstash安装记录(报错com.mysql.jdbc.Driver not loaded的解决)

    Logstash是es官方标配的ELK中的“L”,它们三者的关系是这样:“E”指elasticsearch,用来提供核心的搜索服务;“L”指logstash,用来实现源数据到es索引库的收集、转换、入库;“K”指Kibana,用来通过丰富的图表化界面展示数据。安装这个logstash真的是比较坑,尤其是对于没接触过的人来说,安装过程好多问题都莫名其妙。

    1、服务器上我测试的es版本与logstash版本均是7.5。首先安装logstash,去官网下载对应版本的zip包,下载后解压到目录即可:

      

     2、在bin目录下新建一个配置文件sql2es.conf(文件名自定,但是扩展名得是conf),用来指定要从哪个数据库同步数据到es索引库。具体配置可自行百度,需要注意的是红框里的。jdbc_driver_library配置的是logstash要使用的jdbc驱动,你访问mysql就去下载mysql的驱动jar包,访问sqlserver就去下载sqlserver的驱动jar包,下载完毕后这里配置成本地jar包的位置就好。我使用的是mysql-connector-java-8.0.18.jar,对应下面一行的jdbc_driver_class要配置成“com.mysql.cj.jdbc.Driver”,否则会出错。原来老版本配置的是com.mysql.jdbc.Driver,这里要特别注意。我测试的配置是从本地的mysql数据库中的t_owner表同步数据到es索引testdata下,文档类型为owner。

      

     3、cmd进入到logstash的斌目录下,运行一下看看行不行:logstash -f sql2es.conf:-f表示按照指定的配置文件来运行。这么顺利吗?果然还是出错了:报错:com.mysql.jdbc.Driver not loaded. Are you sure you've included the correct jdbc driver in :jdbc_driver_library?  上网一查说是本地logstash-input-jdbc没有安装好,但是要安装这个东东,需要去更新ruby的某些文件,因为logstash使用ruby语言写的。

     4、修改logstash根目录下的Gemfile文件,把source改成“https://gems.ruby-china.com/”。这个东东是用来指定ruby源的,国内的源下载安装速度比较快。

      

     5、运行logstash-plugin install logstash-input-jdbc。应该会提示安装成功。再运行一下logstash -f sql2es.conf看看行不行,然并卵,问题依旧。继续上网各种搜各种试,终于发现一篇帖子:https://www.jianshu.com/p/0e893f29ee05,有提到是这个版本有bug,需要升级(心中顿时万马奔腾...)。我本地的默认版本是4.3.16,不好使。

      

    6、去github下载最新版(当前最新版本是4.3.19)zip包,下载后解压并在本地编译生成gem文件并安装。

      运行gem build logstash-input-jdbc.gemspec,生成.gem文件:

      

      运行logstash-plugin.bat install logstash-input-jdbc-4.3.19.gem,在本地安装最新版本:

      

     7、再试试,运行logstash -f sql2es.conf。终于不报错了,但是报mysql的timezone时区错误。这个好办,去mysql里设置一下默认时区:

      

     8、再次尝试,成功了!它终于开始干活了。满屏的数据滚动起来罗。

      

    注意,如果本地没有安装ruby的话,前面步骤中的gem命令运行不起来。去官网下载一个最新版安装就好(可能需要重启服务器):https://rubyinstaller.org/downloads/

      

       

  • 相关阅读:
    MISP版本嵌入式QT编译时出现mips-linux-gcc command not found
    数据传输对象(DTO)介绍及各类型实体比较
    signalR例子
    WebAPI GET和POST请求的几种方式
    github教程
    Asp.net MVC + EF + Spring.Net 项目实践3
    SpringMVC
    SignalR
    SignalR的实时高频通讯
    开发视频教程
  • 原文地址:https://www.cnblogs.com/coldlight/p/12084408.html
Copyright © 2011-2022 走看看