zoukankan      html  css  js  c++  java
  • Hive与Hadoop的交互流程

    1、 executeQuery:用户通过Hive界面(CLI/Web UI)将查询语句发送到Driver(驱动有JDBC、ODBC等)来执行;

    2、 getPlan :Driver根据查询编译器解析query语句,验证query语句的语法、查询计划、查询条件;

    3、 getMetaData:编译器将元数据请求发送给Metastore;

    4、 send MetaData:Metastore将元数据作为响应发送给编译器;

    5、 send Plan:编译器检查要求和重新发送Driver的计划。至此,查询的解析和编译完成;

    6、 execute Plan:Driver将执行计划发送给执行引擎;

    6.1、 MetaDataOps for DDLs:执行引擎发送任务的同时,对hive元数据进行相应操作(直接对数据库表进行操作的(创建表、删除表等),直接与MetaStore进行交互)。

    6.1、 execute Job:mapreduce执行job的过程。执行引擎发送任务到resourcemanager,resourcemanager将任务分配给nodenameger,由nodemanager分布式执行mapreduce任务。

    6.2、 任务执行结束,返回执行结果给执行引擎,同步执行6.3;

    6.3、 找Namenode获取数据

    7、fetch Results:执行引擎接收来自数据节点(data node)的结果

    8、sendResults:执行引擎发送这些合成值到Driver

    9、sendResults:Driver将结果发送到hive接口

  • 相关阅读:
    【bzoj2115】[Wc2011] Xor
    【bzoj2460】[BeiJing2011]元素
    P2300 合并神犇 DP
    P1041 传染病控制 深搜
    P1038 神经网络 图论
    树状数组模板
    送外卖 状压DP
    士兵守卫(同P2016 战略游戏) 树形DP
    P1171 售货员的难题 喻队状压 DP
    P2062 分队问题 DP
  • 原文地址:https://www.cnblogs.com/MrFee/p/hive_hadoop.html
Copyright © 2011-2022 走看看