zoukankan      html  css  js  c++  java
  • win7下通过eclipse连接hadoop

      首先,环境如下:

      hadoop: 2.4.0

      jdk: 1.7

      eclipse:helios-SR2

      linux:centos 6.5

      hadoop2x-eclipse-plugin.zip

      hadoop-common-2.x.x-bin-master.zip

      开始安装前的准备工作:

      前提:已经准备好了最基本的hadoop集群,本机是利用oracle vm构建两个centos 6.5的虚拟机,组成hadoop简单集群

      1. 将hadoop的source和bin版本、hadoop-common-xxx都解压后放在同一文件夹目录下。把hadoop-common-xxx文件夹下bin目录中的内容全部靠到hadoop的bin版本的目录/bin中,替换部分内容。将hadoop的bin版添加到windows的环境变量中。

      2. 将hadoop2x-eclipse-plugin中的jar丢到eclipse的plugin目录中,在打开的eclipse配置hadoop.记住,先在window的hosts中加入hadoop主节点的ip name。在eclipse中设置hadoop时,将name配置给hdfs的name(默认是localhost),并将端口分别设置为9001, 9000.

      3. 将hadoop-examples-xxx的demo引入后,需要一些jar.基本上都在hadoop的bin版的share里面可以找到。

      通过上面的设置,我们就可以在windows下的eclipse中进行m/r等开发,效果还不错。

  • 相关阅读:
    超详细JSON解析步骤
    HTTP请求头和响应头总结
    Oracle 数据库常用操作语句大全
    关于HTTP协议,一篇就够了
    PowerDesigner工具建表步骤
    求助:ACM剑气算法
    一道题
    个人Java学习中的遇到的几个模糊的地方
    Java编程:数学黑洞6174
    高级查询
  • 原文地址:https://www.cnblogs.com/craig-yilia/p/4980579.html
Copyright © 2011-2022 走看看