zoukankan      html  css  js  c++  java
  • Hadoop YARN上运行MapReduce程序

    (1)配置集群

                  (a)配置hadoop-2.7.2/etc/hadoop/yarn-env.sh

           配置一下JAVA_HOME

    export JAVA_HOME=/home/hadoop/bigdatasoftware/jdk1.8.0_161

    (b)配置yarn-site.xml

    <!-- reducer获取数据的方式 -->

    <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

    </property>

    <!-- 指定YARN的ResourceManager的地址 -->

    <property>

    <name>yarn.resourcemanager.hostname</name>

    <value>hadoop-002</value>

    </property>

                  (c)配置:mapred-env.sh

           配置一下JAVA_HOME

                                                                                    export JAVA_HOME=/home/hadoop/bigdatasoftware/jdk1.8.0_161

    <!-- 指定mr运行在yarn上 -->

    <property>

           <name>mapreduce.framework.name</name>

           <value>yarn</value>

    </property>

                  (d)配置: (对mapred-site.xml.template重新命名为) mapred-site.xml

           (2)启动集群

    (a)启动resourcemanager

    sbin/yarn-daemon.sh start resourcemanager

    (b)启动nodemanager

    sbin/yarn-daemon.sh start nodemanager

           (3)集群操作

    (a)yarn的浏览器页面查看

    http://hadoop-001:8088/cluster

                  (b)删除文件系统上的output文件

    bin/hdfs dfs -rm -R /home/hadoop/mapreduce/wordcount/output

                  (c)执行mapreduce程序

                         bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /home/hadoop/mapreduce/wordcount/input  /user/hadoop/mapreduce/wordcount/output

                  (d)查看运行结果

    bin/hdfs dfs -cat /home/hadoop/mapreduce/wordcount/output/*

     

  • 相关阅读:
    值得品味的SQL
    C# Keycode对照表
    Web安全实践(9)攻击apache
    Web安全实践(8)攻击iis6.0
    Web安全实践(11)用户名枚举
    asp.net 动态添加JavaScript方法
    Web安全实践(12)密码探测
    Web安全实践(14)嗅探,arp欺骗,会话劫持与重放攻击(下)
    委托的异常处理
    Web安全实践(13)嗅探,arp欺骗,会话劫持与重放攻击(上)
  • 原文地址:https://www.cnblogs.com/Transkai/p/10440867.html
Copyright © 2011-2022 走看看