zoukankan      html  css  js  c++  java
  • 关于Hadoop_env.sh中的HADOOP_CLASSPATH

       之前博客里介绍了如何自定义DoubleArrayWritable,并将该类型的value写入SequenceFile文件中,为了能够使用命令查看这个文件中的内容(果然坑都是一步一步给自己挖的)参考了网友博客的内容,将DoubleArrayWritable类型打成Jar包,然后将这个Jar包的路径添加到Hadoop_env.sh配置文件中的HADOOP_CLASSPATH配置项中作为其配置值,添加完成之后再输入命令:

    hadoop fs -text /10Seq

    太神奇了,不再提示"DoubleArrayWritable不能加载了",可以看到文件内容了,当时就感叹这招太神奇了,不过今天运行MR程序的时候,提示“java.lang.ClassNotFoundException:....MyMapper”,还有个错误就是“no job jar set”这是没有设置jar包的意思(可是我设置了呀,job.setJarbyClass(MutiDoubleInputMatrixProduct.class))。就是找不到自定义的Mapper类MyMapper。试了很多方法都不成功,删掉之前在Hadoop_env.sh配置文件中的HADOOP_CLASSPATH配置值之后,就可以了。HADOOP_CLASSPATH应该使用默认值的,当我们给其赋值之后就会覆盖默认值,然后就找不到一些基础类的定义了,例如Mapper类,找不到Mapper类的定义,自然也就无法创建MyMapper。具体是什么机制还有待深究。

  • 相关阅读:
    网络编程_UDP协议_发送端与接收端
    网络编程_IP对象_InetAddress
    Java对XML文件解析方式之一_SAX
    GUI练习3
    GUI_菜单练习
    GUI_文件管理器(练习)
    HTTP数据组织方式
    web前端面试题
    19-字符串匹配(kmp || substr,find)
    17-逆序数(树状数组+离散)
  • 原文地址:https://www.cnblogs.com/lz3018/p/5251194.html
Copyright © 2011-2022 走看看