zoukankan      html  css  js  c++  java
  • Hive on tez 执行作业时报错请求内存大于允许内存

    1、问题描述

    Status: Failed Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1597977573448_0003_1_00 [Map 9], Requested TaskResource=<memory:4096, vCores:1>, Cluster MaxContainerCapability=<memory:2048, vCores:2> FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex's TaskResource is beyond the cluster container capability,Vertex=vertex_1597977573448_0003_1_00 [Map 9], Requested TaskResource=<memory:4096, vCores:1>, Cluster MaxContainerCapability=<memory:2048, vCores:2>

    2、问题原因:

    hive.tez.container.size设置了4096内存,超过了yarn的容器允许的最大内存,yarn的nodemanager.resource.memory-mb设置的过小,需要将调整改值。

    或者调整hive.tez.container.size的值小于nodemanager.resource.memory-mb的值。

    3、解决方法

    将nodemanager.resource.memory-mb调整为6g或者将hive.tez.container.size的值改为3g。

  • 相关阅读:
    Tarjan专题
    Catalan数
    状压DP
    威尔逊定理证明:
    【fzoj 2376】「POJ2503」Babelfish
    Android 源码
    Android实现推送方式解决方案
    Android apk 签名
    圆角的实现
    Android 资源
  • 原文地址:https://www.cnblogs.com/chhyan-dream/p/15703109.html
Copyright © 2011-2022 走看看