zoukankan      html  css  js  c++  java
  • hive 中的Sort By、 Order By、Cluster By、Distribute By 区别

    Order by:

    order by 会对输入做全局排序,因此只有一个reducer(多个reducer无法保证全局有序)
    只有一个reducer,会导致当输入规模较大时,需要较长的计算时间。
    在hive.mapred.mode=strict模式下,强制必须添加limit限制,这么做的目的是减少reducer数据规模

    Sort by:

    sort by不是全局排序,其在数据进入reducer前完成排序。
    因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1, 则sort by只保证每个reducer的输出有序,不保证全局有序。

    Distribute by:
    根据distribute by指定的内容将数据分到同一个reducer
    Cluster by:
    除了具有Distribute by的功能外,还会对该字段进行排序。因此,常常认为cluster by = distribute by + sort by

  • 相关阅读:
    最近几周的总结
    做游戏
    枚举 结构 .....
    抽象类
    面向对象过程
    构造函数 对象关系
    .net 第二周学习
    。net初学
    CSS基本知识点(01)
    C#之ADO.NET基本知识点(01)
  • 原文地址:https://www.cnblogs.com/liutoutou/p/3529429.html
Copyright © 2011-2022 走看看