zoukankan      html  css  js  c++  java
  • kylin Build过程问题排查:17 Step Name: Build Cube In-Mem

    Kylin Build执行到底17步时报错:17 Step Name: Build Cube In-Mem  ,错误截图如下:

    点左下角的MRJob图标,打开查看错误信息:

    从MRJob中的描述中可见详细的错误信息:

    The required MAP capability is more than the supported max container capability in the cluster. Killing the Job. mapResourceRequest: <memory:3072, vCores:1> maxContainerCapability:<memory:1024, vCores:2>
    Job received Kill while in RUNNING state.

    说的很明确,需要的内存量是3072,但是最大能提供的内存量只有1024,这两个值改那个都可以,只要能匹配上就行。

    问题排查:

    从kylin的配置目录中找到kylin_job_conf_inmem.xml(路径:/usr/local/apps/kylin/conf/)

    发现这个map的内存最大请求为3072,和上面MRJob中的报错信息一致,把这个最大请求改成1024即可。

     <!--Additional config for in-mem cubing, giving mapper more memory -->
        <property>
            <name>mapreduce.map.memory.mb</name>
            <value>1024</value>
            <description></description>
        </property>

    改成1024,重新Build,Success!

  • 相关阅读:
    vue 兼容IE报错解决方案
    JDK1.8 ArrayList 源码解析
    Mac nasm 汇编入门
    命令模式
    模板方法
    Mysql Limit 调优
    观察者模式
    外观模式
    Rest- Client
    MongoDB数据库 5分钟快速上手
  • 原文地址:https://www.cnblogs.com/qqflying/p/10966439.html
Copyright © 2011-2022 走看看