zoukankan      html  css  js  c++  java
  • MapReduce文件配置和测试

      1.前提:MapReduce能配置的前提是hdfs能够正常运行


      2.在1的基础上,配置两个文件:
        在hadoop文件夹下配置两个文件mapred-site.xml(由mapred-site.xml.template) 和 yarn-site.xml
        
          yarn-site.xml
     

       <configuration>
            <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>192.168.72.100</value>
            </property>
            <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
            </property>
        </configuration>


        
          mapred-site.xml

      <configuration>
            <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
            </property>
        </configuration>


     
      3.启动start.yarn.sh 会多出nodeManager和resourceManager,说明启动成功


      4.测试是否可以使用,这里有一个MapReduce的helloworld
          写一个文件,往里面输入一些内容,将文件放到hdfs上
          运行命令:
          hadoop jar hadoop/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce- examples-2.7.3.jar wordcount /input /outputwordcount
          路径/文件 不存在的目录
        
          这时候在这个不存在的里面会有每个单词在这篇文档出现的次数。

  • 相关阅读:
    php防止用户输入进行跨站攻击的方式
    php中相关函数
    php运算符
    php中error_reporting
    php环境的安装
    LAMP环境介绍
    js的StringBuffer类
    一个带关闭按钮的Div窗口,很漂亮
    js  计算是今天多少周
    java 递归
  • 原文地址:https://www.cnblogs.com/qingtianxt/p/9305823.html
Copyright © 2011-2022 走看看