zoukankan      html  css  js  c++  java
  • hadoop:WordCount问题总结

    今天玩了一下hadoop的MapReduce,中途遇到了几个问题,在此记录一下。

    1.一切按照配置完成之后,hadoop namenode format,start-all.sh启动,使用jps查看进程的时候,发现没有NameNode和JobTracker。

       查了一下,有如下几个原因会导致这个问题

     1、启动时没有先格式化;

    2、4个配置文件没有配置正确;

    3、hostnaame与ip没有绑定;(我是由于绑定错误,所以才出现的问题。ifconfig查看ip,修改/etc/hosts文件

    4、ssh免密码登陆没有配置成功;

    5、多次格式化hadoop造成的错误;

    (其中由多次格式化造成的错误,可以通过删除/usr/local/hadoop/tmp 的hadoop的临时文件,然后重新格式化来解决。)

    2.Unsupported major.minor version 52.0。

    jdk版本不匹配。我的jar文件是在windows上用的jdk1.8.0_65,而linux用的是1.7的,所以会报这个错误。改成统一版本的jdk就可以了。

    注:在jdk官网8u65代表的就是1.8.0_65这个版本,8u121代表的应该是1.8.1_21

    3.我的类名为public class WordCount,并且在main中设置了 job.setJarByClass(WordCount.class); 但是我在执行的时候,仍然需要执行类名。不知道是和原因.
    hadoop jar org.hs.first.WordCount input ouput (必须为包名+类名)  如果不写org.hs.first.WordCount,会报classnotfound的错误

  • 相关阅读:
    读取exec返回值
    List
    面向对象设计原则
    CascadingDropDown省市县无刷新联动
    读写配置文件app.config
    变向实现动态水晶报表
    JS验证是否日期格式
    C#中调用API(转)
    (转自老赵Jeffrey Zhao)The status code returned from the server was: 12031”。(转)
    利用Javascript的“函数重载”实现自定义Alert样式
  • 原文地址:https://www.cnblogs.com/mrxiaohe/p/6526530.html
Copyright © 2011-2022 走看看