zoukankan      html  css  js  c++  java
  • window下eclipse搭建hadoop环境

    1 生成插件jar

      1.1 安装java,ant运行环境

      1.2 下载hadoop-2.5.0.tar.gz并解压到指定目录

      1.3 下载hadoop2x-eclipse-plugin-master.zip并进行解压到指定目录

      1.4 进入到hadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin目录下进行编译

        ant jar -Dversion=2.5.0 -Dhadoop.version=2.5.0 -Declipse.home=D:developtoolseclipseeclipse-jee-mars-1-win32-x86_64eclipseeclipse -Dhadoop.home=D:developtoolslinuxsoftwarehadoophadoop-2.5.0hadoop-2.5.0

      1.5 如果编译失败,提示找不到htrace-core-3.0.4.jar,就去mvn中央仓库进行下载,并放入到hadoop-2.5.0sharehadoopcommonlib目录下,重新执行1.4的操作

      1.6 如果编译成功,会在hadoop2x-eclipse-plugin-masteruildcontribeclipse-plugin目录下生成hadoop-eclipse-plugin-2.5.0.jar

    2 将生成的hadoop-eclipse-plugin-2.5.0.jar拷贝到eclipse的dropins目录下,可能有的eclipse版本需要放到plugins目录下,重启eclipse,查看window->preferences下是不是又mapreduce的选项

      

    3 点击步骤2中的Hadoop Map/Reduce选择在右侧的选项卡中填入hadoop.home对应的路径

      

    4 使用eclipse管理hdfs

      4.1 关闭eclipse的权限管理(在hdfs-site.xml中配置)

    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

      4.2 修改当前电脑的用户为hadoop,并重启电脑用该用户登录

    5 使用eclipse提交任务到hadoop(https://pan.baidu.com/s/1jIcjNSi)

      5.1 下载window下的运行包winutils 

      5.2 将winutils下的hadoop-2.6.4/bin目录下的文件覆盖到hadoop的bin目录下的所有文件

      5.3 复制hadoopinhadoop.dll文件到C:WindowsSystem32中

      5.4 配置HADOOP_HOME,并将HADOOP_HOMEin配置到Path变量中

      5.5 重启电脑

       

  • 相关阅读:
    Spark概念介绍
    KVM web管理工具——WebVirtMgr(一)
    Spark集群搭建
    阿里云DTS VS MySQLdump
    MySQL性能分析和优化-part 1
    为什么logstash进程的CPU使用率100%?
    技本功丨互联网+工业视觉异常检测分析
    Spark集群管理器介绍
    某云下系统上云方案及成本计算
    企业混合云架构设计
  • 原文地址:https://www.cnblogs.com/lifeone/p/7921209.html
Copyright © 2011-2022 走看看