zoukankan      html  css  js  c++  java
  • kylin Build过程问题排查:17 Step Name: Build Cube In-Mem

    Kylin Build执行到底17步时报错:17 Step Name: Build Cube In-Mem  ,错误截图如下:

    点左下角的MRJob图标,打开查看错误信息:

    从MRJob中的描述中可见详细的错误信息:

    The required MAP capability is more than the supported max container capability in the cluster. Killing the Job. mapResourceRequest: <memory:3072, vCores:1> maxContainerCapability:<memory:1024, vCores:2>
    Job received Kill while in RUNNING state.

    说的很明确,需要的内存量是3072,但是最大能提供的内存量只有1024,这两个值改那个都可以,只要能匹配上就行。

    问题排查:

    从kylin的配置目录中找到kylin_job_conf_inmem.xml(路径:/usr/local/apps/kylin/conf/)

    发现这个map的内存最大请求为3072,和上面MRJob中的报错信息一致,把这个最大请求改成1024即可。

     <!--Additional config for in-mem cubing, giving mapper more memory -->
        <property>
            <name>mapreduce.map.memory.mb</name>
            <value>1024</value>
            <description></description>
        </property>

    改成1024,重新Build,Success!

  • 相关阅读:
    12.精益敏捷项目管理——产品协调小组笔记
    打字游戏
    提升权限
    下载者
    SMTP实现发送邮箱2(封装版)
    SMTP实现发送邮箱1
    电子邮件协议详解
    JSON运用在文件
    JSON函数表2
    JSON函数表1
  • 原文地址:https://www.cnblogs.com/qqflying/p/10966439.html
Copyright © 2011-2022 走看看