zoukankan      html  css  js  c++  java
  • yarn nodes label (yarn 划分子集群)

    yarn node labels 特性
    给节点打标签可以把特性类似的节点分成一组,这样可以指定特定的应用
    执行在特定的机器群上.
    现在我们只支持节点划分,
    1.一个节点仅能有一个节点划分,即一个节点只能打一个标签.
    这样一个集群就可以被划分成多个不相交的子集群,默认的
    ,节点属于一个叫default的分区.
    2.用户需要配置不同的队列可以使用分区中的多少资源.
    3.分区有两种类别:
    a.独占 : 作业容器分配给完整匹配标签的节点上运行.
    例如,作业分配给queue=a a队伍可以使用partition="x"的节点.
    则只能分配标签为x的节点来运行容器.
    b.非独占:如果一个分区是非独占的,它空闲的时候,可以被其他队列的
    作业分配来使用.

    特性:
    节点标签现支持如下的特性:
    1.划分集群 每一个节点可以分配一个标签,这样集群就被逻辑上划分成了
    几个类似的不相交的子集群.
    2.队列可以指定享用子集群多少的资源
    例如queuea 可以访问百分之三十label=hbase的资源

    配置方式有三种,
    1.集中化配置
    节点和标签的对应关系通过RM的CLI,REST,RPC来处理,保存在RM端
    2.分布式
    节点与标签的对应关系将通过节点标签提供器来设置在nm,我们可以通过
    脚本或直接配置在yarn-seit.xml中.而且可以动态地刷新.
    3.代理集中式
    因安全考虑,为了避免直接与RM的接口交互.可以配置一个代理来完成这些事.
    更多详细请查看:
    http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/NodeLabel.html

  • 相关阅读:
    C++中的派生类相关内容,结构体、共同体内容
    window查看端口以及telnet的使用
    java中long型转换为int
    C/C++数组初始化全为0
    linux中的一些指令 find
    bat相关知识
    bat设置开机自启动
    for循环语句及批量创建用户!
    Shell函数!
    case语句!
  • 原文地址:https://www.cnblogs.com/huaxiaoyao/p/7530648.html
Copyright © 2011-2022 走看看