zoukankan      html  css  js  c++  java
  • 国内最全最详细的hadoop2.2.0集群的MapReduce的最简单配置

    简介

    hadoop2的中的MapReduce不再是hadoop1中的结构已经没有了JobTracker,而是分解成ResourceManager和ApplicationMaster。这次大变革被称为MRv2或者YARN,是一次革命性的变化。

    配置

    前面的文章中,我们配置了hadoop2集群的HA高可靠,下面紧接上前面的配置,设置MapReduce的配置信息,也是最简单最容易上手的。

    修改文件yarn-site.xml,内容如下

    <configuration>
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop100</value>
      </property>   

      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
    </configuration>

    其中,名称yarn.resourcemanager.hostname指的是运行ResourceManager机器所在的节点位置;名称yarn.nodemanager.aux-services在hadoop2.2.0版本中是mapreduce_shuffle,一定要看清楚。

    修改mapred-site.xml,内容如下

    <configuration>
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>
    </configuration>

    其中,名称mapreduce.framework.name指的是使用yarn运行mapreduce程序。

    启动了HDFS之后,就可以启动yarn了。执行命令start-yarn.sh即可启动MapReduce集群。

    关于hadoop2的其他配置文章,欢迎持续关注我的文章

  • 相关阅读:
    CSS定位
    使用开源框架进行get,post提交
    使用httpclient框架分别用post,get方式提交
    C++ const_cast
    C++ 类继承 常量对象调用函数
    C++ 类继承 子类调用父类
    C++ explicit关键字
    C++ class入门
    C#检测耗时操作
    面向对象编程入门
  • 原文地址:https://www.cnblogs.com/meiyuanbao/p/3534376.html
Copyright © 2011-2022 走看看