zoukankan      html  css  js  c++  java
  • hive job oom问题

        错误信息例如以下:Container [pid=26845,containerID=container_1419056923480_0212_02_000001] is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtual memory used. Killing container.

        分析:刚開始以为是内存不够,所以不断的调大虚拟内存,问题是攻克了。可是实际执行的时候还是会偶尔报这个错误。

        问题的解决办法在于:

    set yarn.nodemanager.resource.memory-mb=2048;

    set yarn.app.mapreduce.am.command-opts=-Xmx2048m;

        这两个參数配成了相等,而实际上第一个參数为节点能从yarn上获得的全部内存,第二个參数为其上执行的jvm内存。除了jvm之外还须要一些空间来让总体work起来。

    当jvm占用内存太大的时候就有可能大于yarn.nodemanager.resource.memory-mb配置的临界点。被Container kill掉。推荐的比例是jvm为实际内存的0.8

        map和reduce的内存配置相同有这个问题。演示样例配置:

    mapred-site.xml
    set mapreduce.map.memory.mb=1024;
    set mapreduce.map.java.opts=-Xmx819m;
    set mapreduce.reduce.memory.mb=2048;
    set mapreduce.reduce.java.opts=-Xmx1638m;

    yarn-site.xml
    set yarn.nodemanager.resource.memory-mb=2048;
    set yarn.app.mapreduce.am.command-opts=-Xmx1638m;


    这篇文章详细说明了问题的解决办法和推荐的配置

    http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html?

    textToSearch=queue#


  • 相关阅读:
    各自的特点:
    errno
    内存(堆)的动态申请和释放
    printf和scanf中的%控制
    linux中软件包管理
    Ubuntu新装系统要装软件
    数组
    linux c中需要记住的东西
    硬件设计中的一些思路
    传输线理论
  • 原文地址:https://www.cnblogs.com/blfbuaa/p/6780683.html
Copyright © 2011-2022 走看看