zoukankan      html  css  js  c++  java
  • logstash同步mysql数据失败

     

    问题描述

    前提:

    项目采用Elasticsearch提供搜索服务,Mysql提供存储服务,通过Logstash将Mysql中数据同步到Elasticsearch。

    问题:

    使用logstash-jdbc-input插件同步Mysql中的两张表时,一张表的数据完整的存到了ES中,而另一张表没有任何数据插入

    原因分析

    1、查询语句错误,将语句放入命令行中查询,查询成功,排除

    2、jdbc插件只支持一次查询,经网上搜索资料,确认jdbc可以并发执行多次查询

    3、对比两张表结构,对比过程中发现无数据插入的那张表中存在"type"字段,想到jdbc插件中有关键字“type”,用来命名索引下的类型,猜测是因为这个原因导致数据无法插入,经验证,确实如此。

    解决方案

    修改表中“type”字段名为"category",重新执行查询,成功。

  • 相关阅读:
    省选后蛤蛤纪事
    About me
    第一篇blog
    震惊!山东一高中生学习锯木板,原因竟是...
    斯特林数相关
    省选后数学学习
    SDOI 2020游记
    奶茶推荐
    Goodbye 2019
    golang 并发锁的陷阱
  • 原文地址:https://www.cnblogs.com/yourstars/p/10563694.html
Copyright © 2011-2022 走看看