zoukankan      html  css  js  c++  java
  • Oozie调度原理(queueName与launcher_queName详解)

    有时候job.properties中会有两个定义参数

    queueName=default

    launcher_queName=default(oozie,在Hadoop容量调度器配置文件进行指定),不指定默认为default。

    适用情景将launcher队列和action队列分开。

    配置oozie.launcher.mapred.job.queue.name 为launcher要用的队列

    配置mapreduce.job.queuename(mapred.job.queue.name) 为action用的队列

    情景一(不分开launcher队列和action队列):

    #HDFS地址
    nameNode=hdfs://hadoop102:8020
    #ResourceManager地址
    jobTracker=hadoop103:8032
    #队列名称
    queueName=default
    examplesRoot=oozie-apps
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell
    EXEC=p1.sh

    情景二(分开launcher队列和action队列)

    nameNode=hdfs://mycluster
    jobTracker=hadoop02:8032
    queueName=default
    launcher_queName=oozie
    oozie.use.system.libpath=true
    examplesRoot=oozie-apps
    oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/shell 。。。。

    workflow内部配置参考

        <global>
          <job-tracker>${jobTracker}</job-tracker>
          <name-node>${nameNode}</name-node>
          <configuration>
            <property>
              <name>mapred.job.queue.name</name>
              <value>${queueName}</value>
            </property>
            <property>
              <name>oozie.launcher.mapred.job.queue.name</name>
              <value>${launcher_queName}</value>
            </property>
          </configuration>
        </global>

    参考:

    Oozie阻塞问题及调度原理

  • 相关阅读:
    Redis认识
    常见注解和LambdaQueryWrapper
    微信开发思路和一些文档
    安全框架
    学习:Token
    javascript中对象的创建-原型模式1
    开发常用工具
    【java爬虫--1】Htmlunit+Jsoup解析非静态页面爬取图片
    【java爬虫--2】将批量图片地址转成pdf文件
    文本文件按行去重,有序输出
  • 原文地址:https://www.cnblogs.com/-courage/p/14211745.html
Copyright © 2011-2022 走看看