zoukankan      html  css  js  c++  java
  • 启动集群、运行wordcount测试案例、WARN conf.Configuration: bad conf file: element not <property>

    集群的启动:$HADOOP_HOME/sbin/start-all.sh 

      jps检测进程:

      

    单启动HDFS:$HADOOP_HOME/sbin/start-dfs.sh

    单启动YARN:$HADOOP_HOME/sbin/start-yarn.sh

    如果你的Hadoop一直有如下警告:

      

      则请检查你的配置文件更改过程中是否少写了property标签,如本人的"mapred-site.xml"文件:

      

      添加之后就好了。

    下面展示wordcount程序统计词数:

      创建一个上传文件的文件夹:

      hadoop dfs -mkdir  /input

       上传一个本地文件:将hello.txt文件上传到  /input下

      hadoop fs -put hello.txt  /input

      查看上传的文件:

      hadoop fs -ls /input

      hadoop fs -cat /input/hello.txt

      

      提交mapreduce作业到yarn上运行

      hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar  wordcount  /input/hello.txt  /output/

      查看单词数:

      hadoop fs -text /output/part*

      

    清澈的爱,只为中国
  • 相关阅读:
    [SDOI2015]星际战争
    [SDOI2016]生成魔咒
    hdu3311
    [ZJOI2011]最小割
    P3331 [ZJOI2011]礼物(GIFT)
    [ZJOI2010]贪吃的老鼠
    状压dp-----三进制
    noip2016 天天爱跑步
    概率期望dp
    poj2186
  • 原文地址:https://www.cnblogs.com/dan-baishucaizi/p/9695559.html
Copyright © 2011-2022 走看看