zoukankan      html  css  js  c++  java
  • hadoop历史服务器配置问题



    作者:sdjnzqr
    出处:http://www.cnblogs.com/sdjnzqr/
    版权:本文版权归作者和博客园共有
    转载:欢迎转载,但未经作者同意,必须保留此段声明;必须在文章中给出原文连接;否则必究法律责任

    在mapred-site.xml中做如下配置:

    <configuration>
      <property>    
        <name>mapreduce.framework.name</name>    
        <value>yarn</value>    
      </property>   
      <property>    
        <name>mapreduce.jobtracker.system.dir</name>    
        <value>file:///home/hadoop/mapred/system</value>     
      </property>    
      <property>    
        <name>mapreduce.cluster.local.dir</name>    
        <value>file:///home/hadoop/mapred/local</value>      
      </property>
       <property>    
        <name>mapreduce.jobtracker.staging.root.dir</name>    
        <value>file:///home/hadoop/mapred/staging</value>      
      </property>
      <property>
      <name>mapreduce.jobhistory.address</name>
      <value>master:10020</value>
      </property>
      <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>master:19888</value>
      </property>
      <property>
    <name>yarn.app.mapreduce.am.staging-dir</name>
    <value>file:///home/hadoop/mapred/staging</value>
    </property>
    </configuration>

    发现此时运行mapreduce程序的时候报错:

    <P>Wrong FS: 
    file:/home/hadoop/mapred/staging/hadoop/.staging/job_1406217900097_0003, 
    expected: hdfs://master</P>

    原因是:yarn.app.mapreduce.am.staging-dir和mapreduce.jobtracker.staging.root.dir相同,导致的,去掉配置,即可解决问题。

    <configuration>
      <property>    
        <name>mapreduce.framework.name</name>    
        <value>yarn</value>    
      </property>   
      <property>    
        <name>mapreduce.jobtracker.system.dir</name>    
        <value>file:///home/hadoop/mapred/system</value>     
      </property>    
      <property>    
        <name>mapreduce.cluster.local.dir</name>    
        <value>file:///home/hadoop/mapred/local</value>      
      </property>
       <property>    
        <name>mapreduce.jobtracker.staging.root.dir</name>    
        <value>file:///home/hadoop/mapred/staging</value>      
      </property>
      <property>
      <name>mapreduce.jobhistory.address</name>
      <value>master:10020</value>
      </property>
      <property>
      <name>mapreduce.jobhistory.webapp.address</name>
      <value>master:19888</value>
      </property>
    </configuration>
  • 相关阅读:
    JSON的序列化与还原
    正则表达式的一些基础
    跨域二三事
    与Web服务器通信
    与 Web 服务器通信
    代码重构
    构造函数与各种继承方法特点
    this指向问题——严格、非严格模式,事件处理程序
    《JavaScript设计模式与开发实践》学习笔记——单例模式
    Git常用命名及常见操作流程
  • 原文地址:https://www.cnblogs.com/sdjnzqr/p/3865970.html
Copyright © 2011-2022 走看看