zoukankan      html  css  js  c++  java
  • hive引擎的选择:tez和spark

    背景

    mr引擎在hive 2中将被弃用。官方推荐使用tez或spark等引擎。

    选择

    tez

    使用有向无环图。内存式计算。

    spark

    可以同时作为批式和流式的处理引擎,减少学习成本。

    问题&&不便

    tez:

    在hive sql中使用了union 或 join操作

    tez会将任务切分,每个小任务,创建一个文件文件夹,如下:

    这就会造成一个非常严重的问题,假如这张表的下文,使用这张表没有用tez,而是使用spark或者mr,

    这两种引擎是不会遍历子文件夹下的内容的。查出来的数据为0。而我们很难约束,其他人使用同一种引擎,

    所以tez在使用中抛弃。我们最中选择了spark引擎。

  • 相关阅读:
    增删改查
    兴趣爱好
    兴趣爱好界面
    购物商城
    计算器
    安卓第四周作业
    安卓第一周作业
    第十五周作业
    十三周作业-集合
    第十三周上机练习
  • 原文地址:https://www.cnblogs.com/drjava/p/10948865.html
Copyright © 2011-2022 走看看