zoukankan      html  css  js  c++  java
  • Eclipse集成Hadoop插件

    一.Eclipse集成Hadoop插件

      1.在这之前我们需要配置真机上的hadoop环境变量

    注:在解压tar包的时候普通解压会出现缺文件的现象,所以在这里我们需要用管理员的方式启动我们的解压软件(我用的是winRAR)

    之后在真机中打开cmd输入:hadoop version

     

    注:在这里提醒一下,因为hadoop的环境变量中不可以出现空格,就导致jdk环境变量也不可以有空格,所以这样配置容易出现问题。我们可以修改一下:

     

    把原有的%JAVA_HOME%改成你jdk的路径。记得用双引号引起来哦

       2.下载插件:hadoop-eclipse-plugin-2.6.0.jar

     把插件放到eclipse安装目录下的plugins文件下

       3.启动eclipse

     

      3.1.找到自己的hadoop安装位置

      3.2.eclipse中显示插件的页面

     

    这样文件中的东西就显示出来了

       3.3.使用eclipse创建并运行wordcount程序

     

    hadoop-mapreduce-examples-2.8.0-sourcesorgapachehadoopexamples这个文件夹下面找到

      3.4.之后右键点击Run As

       3.5.配置参数

      3.6.得到了我们想要的结果

     

     2.在运行过程中如果出现以下问题:

    问题1:

     java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

    解决方案:

    有可能是本机的hadoop/bin目录下缺少hadoop.dllwinutils.exe等文件,

    那么下载下面的压缩包,把压缩包中的所有文件放进hadoop/bin中!

    https://pan.baidu.com/s/1RlDJXv0C8x8Qyvjo2ISAVA
    pst2

    然后在hadoop-2.8.0sharehadoopcommonsources文件夹中找到hadoop-common-2.8.0-sources.jar

    解压hadoop-common-2.8.0-sources.jar找到

    hadoop-common-2.8.0-sourcesorgapachehadoopio ativeioNativeIO.java 文件

    把这个NativeIO.java 复制到自己的项目中

     

    之后运行即可

    问题2

    org.apache.hadoop.security.AccessControlException: Permissiondenied: user=zhengcy, access=WRITE,inode="/user/root/output":root:supergroup:drwxr-xr-x

    在集群中运行:

    hadoop fs -chmod -R 777 /

    来解决权限问题

      3.7.使用eclipse打成jar包发布到linux中运行

    之后把打成的jar扔到linux上

     

    运行完毕之后,在eclipse中查看效果图!

     

  • 相关阅读:
    安装AD域时,出现NetBIOS名称冲突?
    SharePoint Server 2010 安装图解
    Visual C++ 2011519
    Visual C++ 2011520
    Visual C++ 2011518
    Visual C++ 2011520
    设计模式创建型 C++版本
    线程条件变量,一次性初始化
    Visual C++ 2011526
    Visual C++ 2011512
  • 原文地址:https://www.cnblogs.com/wang2386033566/p/10088469.html
Copyright © 2011-2022 走看看