zoukankan      html  css  js  c++  java
  • 常见hql底层执行原理

    1、join

    SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON pv.userid = u.userid;

    实现过程:

    Map:

      1、以 JOIN ON 条件中的列作为 Key,如果有多个列,则 Key 是这些列的组合。(key=on条件

      2、以 JOIN 要查询的的列作为 Value,当有多个列时,Value 是这些列的组合。在 Value 中还会包含表的 Tag 信息,用于标明此 Value 对应于哪个表。(value=查询列+tag

      3、按照 Key 进行排序

    Shuffle:

      1、根据 Key 的值进行 Hash,并将 Key/Value 对按照 Hash 值推至不同对 Reduce 中

    Reduce:

      1、 Reducer 根据 Key 值进行 Join 操作,并且通过 Tag 来识别不同的表中的数据

    2、Group By

    SELECT pageid, age, count(1) FROM pv_users GROUP BY pageid, age; 

    实现过程:

    3、Distinct

    SELECT age, count(distinct pageid) FROM pv_users GROUP BY age;

  • 相关阅读:
    1 Java基础知识
    2 Java中常见集合
    请求转发和重定向的区别
    Kafka之工作流程分析
    Kafka之概述
    Kafka之安装
    Oracle数据库查看用户状态
    linux压缩和解压文件命令
    JVM性能调优
    Hbase之命令
  • 原文地址:https://www.cnblogs.com/guoyu1/p/12304388.html
Copyright © 2011-2022 走看看