zoukankan      html  css  js  c++  java
  • hadoop3.1.1:找不到或无法加载主类 org.apache.hadoop.mapreduce.v2.app.MRAppMaster

    yarn执行MapReduce任务时,找不到主类导致的

    解决:

    1、在命令行输入:hadoop classpath

    [hadoop@localhost ~]$ hadoop classpath
    /data/hadoop/hadoop//etc/hadoop:/data/hadoop/hadoop//share/hadoop/common/lib/*:/data/hadoop/hadoop//share/hadoop/common/*:/data/hadoop/hadoop//share/hadoop/hdfs:/data/hadoop/hadoop//share/hadoop/hdfs/lib/*:/data/hadoop/hadoop//share/hadoop/hdfs/*:/data/hadoop/hadoop//share/hadoop/mapreduce/lib/*:/data/hadoop/hadoop//share/hadoop/mapreduce/*:/data/hadoop/hadoop//share/hadoop/yarn:/data/hadoop/hadoop//share/hadoop/yarn/lib/*:/data/hadoop/hadoop//share/hadoop/yarn/*

    2、把上述输出的值添加到yarn-site.xml文件对应的属性 <name>yarn.application.classpath</name>下面,eg:

       <property>
             <name>yarn.application.classpath</name>
             <value>/data/hadoop/hadoop//etc/hadoop:/data/hadoop/hadoop//share/hadooo
    p/common/lib/*:/data/hadoop/hadoop//share/hadoop/common/*:/data/hadoop/hadoop//ss
    hare/hadoop/hdfs:/data/hadoop/hadoop//share/hadoop/hdfs/lib/*:/data/hadoop/hadooo
    p//share/hadoop/hdfs/*:/data/hadoop/hadoop//share/hadoop/mapreduce/lib/*:/data/hh
    adoop/hadoop//share/hadoop/mapreduce/*:/data/hadoop/hadoop//share/hadoop/yarn:/dd
    ata/hadoop/hadoop//share/hadoop/yarn/lib/*:/data/hadoop/hadoop//share/hadoop/yarr
    n/*</value>
       </property>

    3、重启yarn,重新跑MapReduce任务。

  • 相关阅读:
    HBase 文件读写过程描述
    Kafka 部署指南-好久没有更新博客了
    《Python高性能编程》——列表、元组、集合、字典特性及创建过程
    Ansible常用功能
    vim内替换文件内容
    线程队列-queue
    Python多进程
    python多线程知识-实用实例
    夜间模式的实现
    本地通知的实现
  • 原文地址:https://www.cnblogs.com/yjt1993/p/10833290.html
Copyright © 2011-2022 走看看