zoukankan      html  css  js  c++  java
  • window下eclipse搭建hadoop环境

    1 生成插件jar

      1.1 安装java,ant运行环境

      1.2 下载hadoop-2.5.0.tar.gz并解压到指定目录

      1.3 下载hadoop2x-eclipse-plugin-master.zip并进行解压到指定目录

      1.4 进入到hadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin目录下进行编译

        ant jar -Dversion=2.5.0 -Dhadoop.version=2.5.0 -Declipse.home=D:developtoolseclipseeclipse-jee-mars-1-win32-x86_64eclipseeclipse -Dhadoop.home=D:developtoolslinuxsoftwarehadoophadoop-2.5.0hadoop-2.5.0

      1.5 如果编译失败,提示找不到htrace-core-3.0.4.jar,就去mvn中央仓库进行下载,并放入到hadoop-2.5.0sharehadoopcommonlib目录下,重新执行1.4的操作

      1.6 如果编译成功,会在hadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin目录下生成hadoop-eclipse-plugin-2.5.0.jar

    2 将生成的hadoop-eclipse-plugin-2.5.0.jar拷贝到eclipse的dropins目录下,可能有的eclipse版本需要放到plugins目录下,重启eclipse,查看window->preferences下是不是又mapreduce的选项

      

    3 点击步骤2中的Hadoop Map/Reduce选择在右侧的选项卡中填入hadoop.home对应的路径

      

    4 使用eclipse管理hdfs

      4.1 关闭eclipse的权限管理(在hdfs-site.xml中配置)

    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

      4.2 修改当前电脑的用户为hadoop,并重启电脑用该用户登录

    5 使用eclipse提交任务到hadoop(https://pan.baidu.com/s/1jIcjNSi)

      5.1 下载window下的运行包winutils 

      5.2 将winutils下的hadoop-2.6.4/bin目录下的文件覆盖到hadoop的bin目录下的所有文件

      5.3 复制hadoopinhadoop.dll文件到C:WindowsSystem32中

      5.4 配置HADOOP_HOME,并将HADOOP_HOMEin配置到Path变量中

      5.5 重启电脑

       

  • 相关阅读:
    python3 进程_multiprocessing模块
    python3 线程_threading模块
    python3 异常处理
    python3 面向对象补充
    python3 多态,绑定方法与非绑定方法
    python3 uper(),继承实现原理,封装
    python3 面向对象、类、继承、组合、派生、接口、子类重用父类方法
    python3 正则表达式re模块
    python3 json、logging、sys模块
    mysql查询练习
  • 原文地址:https://www.cnblogs.com/lifeone/p/7921209.html
Copyright © 2011-2022 走看看