zoukankan      html  css  js  c++  java
  • Elasticsearch mysql 增量同步 三表联合 脚本

    在上一篇中简略的说了一下es同步数据脚本的大致情况,但是实际情况里肯定不会像上一篇里面的脚本那么简单。比如目前我就有三张表,两张实体表,一张关联表。大致实现如下:

    bin目录建立一个statefile.json文件:

    {
        "type" : "jdbc",
        "statefile" : "statefile.json",
       "jdbc": {
            "url" : "jdbc:mysql://",
            "user" : "",
            "password" : "",
            "type" : "actor",
            "index": "test",
               "schedule" : "0 * * * * ?",
            "metrics" : { 
          "lastexecutionstart" : "0",
          "lastexecutionend" : "0",
          "counter" : "1" 
        },  
            
           "sql" : [
                {
                    "statement" : "select a.actor_id as _id ,a.*,GROUP_CONCAT(b.tag_name ) as tag_name from ( ( gd_actor_info as a  left join gd_actor_tag as ab on a.actor_id = ab.actor_id ) left join gd_tag_actor as b on ab.tag_id = b.tag_id)   where a.update_time >? or ab.update_time > ? group by a.actor_id ",
                    "parameter" : [ "$metrics.lastexecutionstart" ,"$metrics.lastexecutionstart" ]
                }
            ]
          
        }
    }

    主要是lastexecutionstart设置为0,为了让第一次执行能进行一次全量备份。

    其实sh脚本信息也就都在上面了,再写一个就好了

  • 相关阅读:
    oracle对象之序列
    PLSql工具介绍
    oracle对象之同义词
    oracle对象之视图
    缓存问题汇总
    消息队列问题汇总
    算法-排序算法-1
    redis-主从数据一致
    数据结构与算法-完全二叉树/满二叉树
    写缓冲器与无效化队列
  • 原文地址:https://www.cnblogs.com/csonezp/p/5490206.html
Copyright © 2011-2022 走看看