zoukankan      html  css  js  c++  java
  • hive job oom问题

        错误信息例如以下:Container [pid=26845,containerID=container_1419056923480_0212_02_000001] is running beyond virtual memory limits. Current usage: 262.8 MB of 2 GB physical memory used; 4.8 GB of 4.2 GB virtual memory used. Killing container.

        分析:刚開始以为是内存不够,所以不断的调大虚拟内存,问题是攻克了。可是实际执行的时候还是会偶尔报这个错误。

        问题的解决办法在于:

    set yarn.nodemanager.resource.memory-mb=2048;

    set yarn.app.mapreduce.am.command-opts=-Xmx2048m;

        这两个參数配成了相等,而实际上第一个參数为节点能从yarn上获得的全部内存,第二个參数为其上执行的jvm内存。除了jvm之外还须要一些空间来让总体work起来。

    当jvm占用内存太大的时候就有可能大于yarn.nodemanager.resource.memory-mb配置的临界点。被Container kill掉。推荐的比例是jvm为实际内存的0.8

        map和reduce的内存配置相同有这个问题。演示样例配置:

    mapred-site.xml
    set mapreduce.map.memory.mb=1024;
    set mapreduce.map.java.opts=-Xmx819m;
    set mapreduce.reduce.memory.mb=2048;
    set mapreduce.reduce.java.opts=-Xmx1638m;

    yarn-site.xml
    set yarn.nodemanager.resource.memory-mb=2048;
    set yarn.app.mapreduce.am.command-opts=-Xmx1638m;


    这篇文章详细说明了问题的解决办法和推荐的配置

    http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.9.1/bk_installing_manually_book/content/rpm-chap1-11.html?

    textToSearch=queue#


  • 相关阅读:
    使用VSCode创建简单的Razor Webapp--1.入门
    ASP.NET Razor 常用示例
    ASP.NET Razor 语法
    ASP.NET Razor简介
    EF CodeFirst 一对一、一对多、多对多关系
    mysql外键
    EF CodeFirst 之 Fluent API
    替换JDK 对eclipse的影响?
    mysql数据库,安装 !创建!...详解!
    Apache的commons工具类
  • 原文地址:https://www.cnblogs.com/blfbuaa/p/6780683.html
Copyright © 2011-2022 走看看