zoukankan      html  css  js  c++  java
  • Windows下Hadoop Eclipse 开发平台搭建

    准备工作

    java JDK

    Cywin

    eclipse

    hadoop-0.20.2-eclipse-plugin.jar(Hadoop自带eclipse插件,在hadoopcontribeclipse-plugin中)

    安装和配置

    一、JDK安装和配置

      省略

    二、Cywin安装和配置

      可以按照默认的提示安装到自己需要存放的位置,但是在安装时需要注意下面几点:  

       1、 http://mirrors.sohu.com

          

      2、安装过程中记得选择所需的包具体请参考下面的图示:

    • Net    下的:openssh,openssl

    • Base  下的:sed (若需要Eclipse,必须sed)

    • Devel 下的:subversion(建议安装)

                    

      不同的版本可能有所不同,但是基本操作没有变化。。。。

      在我的电脑->属性->高级->环境变量中配置加入变量CYGWIN=ntsec

      在path环境变量中加入cygwin/bin路径, 例如: ;d:/cygwin64/bin

      给文件授权,以完成sshd 服务的安装

      chmod +r /etc/group 

      chmod +r /etc/passwd

       chmod +rwx /var

      安装ssh服务

      以管理员权限运行Cygwin,并输入 ssh-host-config

        当询问if privilege separation should be used 时输入 no .     

       当询问if sshd should be installed as a service 时输入yes .     

      当询问about the value of CYGWIN environment variable enter 时输入 ntsec .

        其余询问均输入 no

      cygrunsrv.exe -S sshd # 启动 SSH服务

      控制面板-》系统和安全-》管理工具-》服务 启动名为 CYGWIN sshd 的服务,亦可在cygwin中输入 cygrunsrv --start sshd 启动sshd(输入cygrunsrv --stop sshd停止sshd)
    三、hadoop安装和配置

      这里只需要保证hadoop配置,与服务器配置一致即可。

    四、eclipse安装和配置

      将eclipse安装包解压到任意路径下

      将hadoop-0.20.2-eclipse-plugin.jar放置eclipse安装目录eclipseplugins下,启动eclipse进行如下配置:

      window->Preference->Hadoop Map/Reduce,输入hadoop文件夹位置。

      

      window->Show View,选择Map/Reduce Locations。

       

      点击屏幕右下方新建一个Location.

      

      编辑Location.(注意MAP/REDUCE和DFS的Port分别对应mapred-site.xml和core-site.xml)

      

      这时,打开Project Explore,刷新。

        

      接下来,你可以new一个MapReduce程序了,找到hadoop的例子试试去吧。

      对了,编译这里要配置一下。

      选择Run Configurations->Java Application->Arguments,这里要填入为两个文件,分别为输入文件和输出文件。

        

        注意:输入输出文件地址,如果用主机名,则需要设置一下本地的hosts

  • 相关阅读:
    SKPhysicsJointPin类
    SKPhysicsJointLimit类
    SKPhysicsJointFixed类
    SKPhysicsJoint类
    SKPhysicsContact类
    SKPhysicsBody类
    SKLabelNode类
    SKNode类
    SKKeyframeSequence类
    Unique Paths II
  • 原文地址:https://www.cnblogs.com/zhangwenjing/p/3623771.html
Copyright © 2011-2022 走看看