zoukankan      html  css  js  c++  java
  • MapReduce运行时出现java.lang.NoClassDefFoundError

    最近在编写MapReduce程序时遇到了一个错误,错误提示信息为:

    Error: java.lang.ClassNotFoundException: org.apache.hadoop.hbase.HBaseConfiguration

    断断续续解决了好几天都没有解决,最终发现是由于我的Mapper中的setup()方法引用了HBase库的缘故,也即引用了第三方Jar包。于是上网搜索“MapReduce如何调用第三方jar包”,最终参考网友的方法得到解决。三种解决方案如下:

    • 在你的java工程里建立一个lib文件夹,然后把所有引用到的第三方jar包放到里面,最后打包成Jar的时候把lib目录和class文件一块打包即可,hadoop会自动加载lib里面的jar
    • 还可以通过命令行配置实现,如:hadoop jar GIS.jar GIS.MapReduce.Test -libjars MapReduceLib/hbase-0.94.6.1.3.0.0-107-security.jar,zookeeper-3.4.5.1.3.0.0-107.jar

       参数“-libjars”的作用是上传本地jar包到HDFS中MapReduce临时目录并将其设置到map和reduce task的classpath中。

  • 相关阅读:
    ADO.NET
    c#中的is和as运算符
    继承 多态
    封装
    面向对象定义 特征 原则
    sql触发器
    MySQL 学习总结2
    sql 存储过程
    MySQL 学习总结1
    DevExpress主要常用控件说明:
  • 原文地址:https://www.cnblogs.com/maybob/p/3598179.html
Copyright © 2011-2022 走看看