zoukankan      html  css  js  c++  java
  • Hive项目经验

    1.hive的数据传输
    Hive 中的 Null 在底层是以“N”来存储,而 MySQL 中的 Null 在底层就是 Null,为了
    保证数据两端的一致性。在导出数据时采用--input-null-string 和--input-null-non-string 两个参
    数。导入数据时采用--null-string 和--null-non-string。
     
     
    2.Hive集成引擎Tez
    Tez 是一个 Hive 的运行引擎,性能优于 MR。为什么优于 MR 呢?看下图。
    用 Hive 直接编写 MR 程序,假设有四个有依赖关系的 MR 作业,上图中,绿色是 Reduce Task,
    云状表示写屏蔽,需要将中间结果持久化写到 HDFS。
    Tez 可以将多个有依赖的作业转换为一个作业,这样只需写一次 HDFS,且中间节点较
    少,从而大大提升作业的计算性能。
     
     
  • 相关阅读:
    053335
    053334
    053333
    053332
    053331
    053330
    053329
    053328
    053327
    053326
  • 原文地址:https://www.cnblogs.com/ldy233/p/13663644.html
Copyright © 2011-2022 走看看