zoukankan      html  css  js  c++  java
  • oozie的shell-action中加入hive脚本命令启动执行shell同时操作hive,抛异常Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143

    使用oozie来调度操作,用shell的action执行命令,其中shell里包含着hive -e 操作执行时,oozie窗口报

     WARN ShellActionExecutor:523 - SERVER[host1] USER[root] GROUP[-] TOKEN[] APP[shellwf] JOB[0000029-180919135230610-oozie-root-W] ACTION[0000029-180919135230610-oozie-root-W@shellnode] LauncherMapper died, check Hadoop LOG for job [host1:8130:job_1533108188813_12125]

    这个异常,对应的在yarn的history里找到上面给出的job_id  ===> job_1533108188813_12125 对应的日志,如下图

     

     图中给出launch时候内存不足,这里是oozie在提交自身的这个shell-action的时候使用的内存不足,那么就要设置增大map与reduce的内存,对于oozie配置覆盖yarn上的配置参数,可以在workflow.xml的configuration中配置将要覆盖的对应的相关的yarn的参数,

    <property>
        <name>oozie.launcher.mapreduce.map.memory.mb</name>
        value>4096</value>
    </property>
    <property>
        <name>oozie.launcher.mapreduce.reduce.memory.mb</name>
        <value>4096</value>
    </property>

    对应的值可以视情况调整大点,不要用1024,这个是默认值,用了也是白用,如果不加这个就可以运行,说明使用没有超过1024M,加了这个参数覆盖就要大于1024M,建议超过2048M

    注意!!! 在参数属性前都要加上oozie.launcher,这样在oozie中的配置参数才能在yarn中生效

     

     提交workflow.xml再重新提交job,应该问题不大了,这个问题亲测了,如果遇到类似的解决不了,可以在评论区评论,一起讨论.....

  • 相关阅读:
    hdu-5492 Find a path(dp)
    hdu-5493 Queue(二分+树状数组)
    bzoj-2243 2243: [SDOI2011]染色(树链剖分)
    codeforces 724
    codeforces 422A A. Borya and Hanabi(暴力)
    codeforces 442C C. Artem and Array(贪心)
    codeforces 442B B. Andrey and Problem(贪心)
    hdu-5918 Sequence I(kmp)
    poj-3739. Special Squares(二维前缀和)
    hdu-5927 Auxiliary Set(树形dp)
  • 原文地址:https://www.cnblogs.com/xjh713/p/9679884.html
Copyright © 2011-2022 走看看