zoukankan      html  css  js  c++  java
  • Python日期存入elasticsearch的坑

    今天在消费kafka数据到elasticsearch(以下简称es)中的时候遇到一个问题,也是一个坑,折腾了半天,后来发现得来全不费工夫,全是白忙活啊!!!

    问题如下:

    kafka数据中有一个字段是时间字符串,格式为:‘2018-05-31 16:33:45:234’

    为了方便以后根据日期检索数据,es里已将该字段设置为date类型,

    接下来便开始了str到date转换的艰辛之路......

    尝试过的解决办法如下:

    1、使用datetime将str转换为datetime对象

        输出结果如下:

        好像成功了,于是开始导入es,但是出错了

        这种转换对数据的格式要求比较苛刻,一旦原始字符串格式稍有变化,则抛出异常

    所以下一步,捕获异常,将kafka中日期格式不符合要求的数据写到日志文件中,个别处理

    最后:

    elasticsearch原生支持date类型,json格式通过字符来表示date类型。所以在用json提交日期至elasticsearch的时候,es会隐式转换,把es认为是date类型的字符串直接转为date类型。至于什么样的字符串es会认为可以转换成date类型,参考elasticsearch官网介绍https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-date-format.html。

      date类型是包含时区信息的,如果我们没有在json代表日期的字符串中显式指定时区,对es来说没什么问题,但是如果通过kibana显示es里的数据时,就会出现问题,数据的时间会晚8个小时。因为kibana从es里读取的date类型数据,没有时区信息,kibana会默认当作0时区来解析,但是kibana在通过浏览器展示的时候,会通过js获取当前客户端机器所在的时区,也就是东八区,所以kibana会把从es得到的日期数据减去8小时。这里就会导致kibana经常遇到的“数据时间延迟8小时”的问题。

      所以最佳实践方案就是:我们在往es提交日期数据的时候,直接提交带有时区信息的日期字符串,如:“2016-07-15T12:58:17.136+0800
    ————————————————
    版权声明:本文为CSDN博主「威震四海」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/Beyond_F4/article/details/80528230

  • 相关阅读:
    lnmp配置https,配置pathinfo---------记录学习
    微信公众号第三方授权登录->自带源码-->自己记录学习
    二维数组排序
    php 图片,文件下载
    PHP最彻底的退出登录,清除session、cookie的代码
    php 安装redis扩展
    2020系统综合实践(七)第15组
    2020系统综合实践(六)第15组
    2020系统综合实践(五)
    2020系统综合实践(四)
  • 原文地址:https://www.cnblogs.com/ExMan/p/11391560.html
Copyright © 2011-2022 走看看