zoukankan      html  css  js  c++  java
  • hadoop内存分配方案

    Configuration File

      Configuration Setting Value Calculation        8G VM (4G For MR)   
    yarn-site.xml yarn.nodemanager.resource.memory-mb = containers * RAM-per-container 4096
    yarn-site.xml yarn.scheduler.minimum-allocation-mb = RAM-per-container 1024
    yarn-site.xml yarn.scheduler.maximum-allocation-mb = containers * RAM-per-container 4096
    mapred-site.xml mapreduce.map.memory.mb = RAM-per-container 1024
    mapred-site.xml         mapreduce.reduce.memory.mb = 2 * RAM-per-container 2048
    mapred-site.xml mapreduce.map.java.opts = 0.8 * RAM-per-container 819
    mapred-site.xml mapreduce.reduce.java.opts = 0.8 * 2 * RAM-per-container 1638
    yarn-site.xml (check) yarn.app.mapreduce.am.resource.mb = 2 * RAM-per-container 2048
    yarn-site.xml (check) yarn.app.mapreduce.am.command-opts = 0.8 * 2 * RAM-per-container 1638
    tez-site.xml  
    tez.am.resource.memory.mb  
    = RAM-per-container
    1024
    tez-site.xml  
    tez.am.java.opts  
    = 0.8 * RAM-per-container
    819
    tez-site.xml  
    hive.tez.container.size  
    = RAM-per-container
    1024
    tez-site.xml  
    hive.tez.java.opts  
    = 0.8 * RAM-per-container
    819
    在尝试学习新的语言之前先理解这门语言的设计原理能够让你在探索这门新语言时保持一个清醒而且开发的状态。
  • 相关阅读:
    汽车过沙漠问题【学习笔记】
    极值问题
    双色汉诺塔【分离型】
    二分查找(递归与非递归)
    t2712:字符串移位包含问题
    酒瓶和瓶盖换购新酒
    反转诗句
    字符串的展开
    回文子串[输出所有回文子串]
    最长最短单词
  • 原文地址:https://www.cnblogs.com/jackchen001/p/6404897.html
Copyright © 2011-2022 走看看