1.hive的数据传输
Hive 中的 Null 在底层是以“N”来存储,而 MySQL 中的 Null 在底层就是 Null,为了
保证数据两端的一致性。在导出数据时采用--input-null-string 和--input-null-non-string 两个参
数。导入数据时采用--null-string 和--null-non-string。
2.Hive集成引擎Tez
Tez 是一个 Hive 的运行引擎,性能优于 MR。为什么优于 MR 呢?看下图。
用 Hive 直接编写 MR 程序,假设有四个有依赖关系的 MR 作业,上图中,绿色是 Reduce Task,
云状表示写屏蔽,需要将中间结果持久化写到 HDFS。
Tez 可以将多个有依赖的作业转换为一个作业,这样只需写一次 HDFS,且中间节点较
少,从而大大提升作业的计算性能。