zoukankan      html  css  js  c++  java
  • 【原创】大叔经验分享(106)Impala读取parquet时间字段时区偏移问题

    parquet文件中的时间字段,在hive和spark-sql中读取正常,在impala中读取会偏移8个小时(少),经测试结果如下:

    一 不修改impala配置

    1 由spark或hive写入parquet

    • spark和hive读取正常
    • impala读取偏移8小时(少),需要手工偏移 from_unixtime(unix_timestamp(time) + 28800)

    二 修改impala配置

    use_local_tz_for_unix_timestamp_conversions=true

    convert_legacy_hive_parquet_utc_timestamps=true

    1 由spark或hive写入parquet

    • spark和hive读取正常
    • impala读取正常

    2 由impala写入parquet

    • spark和hive读取偏移8小时(多)
    • impala读取正常

    参考:https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_timezone.html

  • 相关阅读:
    13---Net基础加强
    12---Net基础加强
    11---Net基础加强
    10---Net基础加强
    09---Net基础加强
    08---Net基础加强
    07---Net基础加强
    06---Net基础加强
    05---Net基础加强
    04---Net基础加强
  • 原文地址:https://www.cnblogs.com/barneywill/p/13068368.html
Copyright © 2011-2022 走看看