zoukankan      html  css  js  c++  java
  • Llama-impala on yarn的中间协调服务

    本文基于CDH发行版下的Hadoop Yarn和Impala


    早期的Impala版本号中。为了使用Impala。我们一般会在以Client/Server的结构在各个集群节点启动impala-server、impala-state-store和impala-catalog服务,而且在启动过程中无法动态调整内存和CPU的分配。CDH5之后,Impala開始支持Impala-on-yarn模式。通过一个叫做Llama(Long-Lived Application Master)的中间协调Yarn和Impala,向Hadoop Yarn资源管理器申请计算资源。


    1、Llama介绍

    Llama(Long-LivedApplicationMaster)是位于ClouderaImpala和HadoopYARN之间,用于协调资源管理的服务系统。

    在一个Hadoop集群中,Impala能够通过Llama预约、使用以及释放资源分配,以降低运行Impala查询时过多的资源管理用度。仅仅有在Impala中启用资源管理。集群中的Llama服务才真正运作。
    默认情况下,YARN依据MapReduce工作的须要按位分配资源,而Impala则须要全部资源在同一时间可用,以保证查询的中间结果可以在不同节点间交换,而不须要迟延查询时间来等待新的资源分配,Llama就是为了在每一个Impala查询開始运行前就可保证其须要的资源都可用而出现。
    若一个查询运行完成,Llama会将资源进行缓存。确保在运行Impala子查询时能够使用。这样的缓存机制避免了每一个查询运行前都须要进行新的资源请求。同一时候。假设YARN须要该资源用于其它工作,Llama就会将这部分资源还给YARN。
    须要注意的是:Llama仅支持YARN。不能与MRv1结合使用。同一时候,Llama也是通过YARN的配置文件与Hadoop进行协作的。


    2、控制计算资源预估

    我们提交SQL到Impala后。有时会错误的预估该次查询可能消耗的计算资源,Impala支持用户设置默认的内存和CPU资源申请大小,SQL执行过程中,一旦资源開始紧缺时,Impala会通过Llama向Yarn申请很多其它的资源来扩展(expanding)当前的预留资源。一旦查询作业完毕,Llama一般会将资源还给Yarn。用户能够在启动使用impalad进程时加上-rm_always_use_defaults參数(必选)以及-rm_default_memory=size and -rm_default_cpu_cores(可选)。Cloudera官方建议使用Impala-on-yarn时加上这些启动參数,能够让查询资源动态扩展。


    3、验证计算资源预估和实际使用

    为了使用户可以方便的验证查询语句所使用的集群资源大小,使用EXPLAIN语句可以查询相关内存预估的信息,以及使用到virtual core的大小。

    使用EXPLAIN并不会真正提交查询


    4、资源限制的原理

      CPU限制是通过Linux CGroups机制。Yarn在各个节点启动符合CGroups形式的Container进程

      内存限制是通过限制Impala的查询内存。一旦查询请求被授权,Impala会在运行前设置内存上限

  • 相关阅读:
    QT全局热键(用nativeKeycode封装API,不跨平台)
    Android 短信模块分析(二) MMS中四大组件核心功能详解
    一个高效过滤非UTF8字符的C函数(也可用来判断是否utf8)
    Windows-1252对Latin1编码有改变(并不完全兼容),而且Latin1缺失了好多西欧字符(法语,德语,西班牙语都有)
    C++静态库与动态库
    CFBundleName系列参数的含义
    QT完美转换特殊字符的大小写
    Java-继承的应用
    RTTI、虚函数和虚基类的实现方式、开销分析及使用指导(虚函数的开销很小,就2次操作而已)
    delphi如何获得当前操作系统语言环境
  • 原文地址:https://www.cnblogs.com/jhcelue/p/7088228.html
Copyright © 2011-2022 走看看