zoukankan      html  css  js  c++  java
  • hadoop-3.0.0 配置中的 yarn.nodemanager.aux-services 项

    在hadoop-3.0.0-alpha4 的配置中,yarn.nodemanager.aux-services项的默认值是“mapreduce.shuffle”,但如果在hadoop-2.2 中继续使用这个值,NodeManager 会启动失败,在logs/yarn-biadmin-nodemanager-hostname.log里会报如下的错:

    java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only contain a-zA-Z0-9_ and can not start with numbers

    at com.google.common.base.Preconditions.checkArgument(Preconditions.java:88)

    at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.serviceInit(AuxServices.java:115)

    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

    at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)

    at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceInit(ContainerManagerImpl.java:303)

    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

    at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)

    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:406)

    at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)

    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:748)

    at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:809)

    2017-07-21 03:21:42,946 INFO org.apache.hadoop.yarn.server.nodemanager.NodeManager: SHUTDOWN_MSG: 

    /************************************************************

    SHUTDOWN_MSG: Shutting down NodeManager at slave1/127.0.0.1

    ************************************************************/

    解决方案:

    将yarn.nodemanager.aux-services项的值"mapreduce.shuffle"改为“mapreduce_shuffle”。

    注意:需要在每个节点的yarn-site.xml上改,位置:/usr/hadoop/hadoop-3.0.0-alpha4/etc/hadoop

  • 相关阅读:
    Google 推出开源博客迁移工具
    Google 的盲人科学家 T. V. RAMAN
    Sun收购Qlayer以积极推动云计算业务
    比尔盖茨:云计算再造软件边界
    一些CodeGuru的COM教程 (英文)
    机器人:人工智能与心理学的较量
    100个最古老互联网域名 最久只有23年(附名单)
    spring2 hibernate3 中包冲突问题解决
    spring2.5+struts2+hibernate+mysql
    [转].NET破解体验 ildasm.exe的使用
  • 原文地址:https://www.cnblogs.com/code4app/p/9300046.html
Copyright © 2011-2022 走看看