zoukankan      html  css  js  c++  java
  • Windows下Hadoop Eclipse 开发平台搭建

    准备工作

    java JDK

    Cywin

    eclipse

    hadoop-0.20.2-eclipse-plugin.jar(Hadoop自带eclipse插件,在hadoopcontribeclipse-plugin中)

    安装和配置

    一、JDK安装和配置

      省略

    二、Cywin安装和配置

      可以按照默认的提示安装到自己需要存放的位置,但是在安装时需要注意下面几点:  

       1、 http://mirrors.sohu.com

          

      2、安装过程中记得选择所需的包具体请参考下面的图示:

    • Net    下的:openssh,openssl

    • Base  下的:sed (若需要Eclipse,必须sed)

    • Devel 下的:subversion(建议安装)

                    

      不同的版本可能有所不同,但是基本操作没有变化。。。。

      在我的电脑->属性->高级->环境变量中配置加入变量CYGWIN=ntsec

      在path环境变量中加入cygwin/bin路径, 例如: ;d:/cygwin64/bin

      给文件授权,以完成sshd 服务的安装

      chmod +r /etc/group 

      chmod +r /etc/passwd

       chmod +rwx /var

      安装ssh服务

      以管理员权限运行Cygwin,并输入 ssh-host-config

        当询问if privilege separation should be used 时输入 no .     

       当询问if sshd should be installed as a service 时输入yes .     

      当询问about the value of CYGWIN environment variable enter 时输入 ntsec .

        其余询问均输入 no

      cygrunsrv.exe -S sshd # 启动 SSH服务

      控制面板-》系统和安全-》管理工具-》服务 启动名为 CYGWIN sshd 的服务,亦可在cygwin中输入 cygrunsrv --start sshd 启动sshd(输入cygrunsrv --stop sshd停止sshd)
    三、hadoop安装和配置

      这里只需要保证hadoop配置,与服务器配置一致即可。

    四、eclipse安装和配置

      将eclipse安装包解压到任意路径下

      将hadoop-0.20.2-eclipse-plugin.jar放置eclipse安装目录eclipseplugins下,启动eclipse进行如下配置:

      window->Preference->Hadoop Map/Reduce,输入hadoop文件夹位置。

      

      window->Show View,选择Map/Reduce Locations。

       

      点击屏幕右下方新建一个Location.

      

      编辑Location.(注意MAP/REDUCE和DFS的Port分别对应mapred-site.xml和core-site.xml)

      

      这时,打开Project Explore,刷新。

        

      接下来,你可以new一个MapReduce程序了,找到hadoop的例子试试去吧。

      对了,编译这里要配置一下。

      选择Run Configurations->Java Application->Arguments,这里要填入为两个文件,分别为输入文件和输出文件。

        

        注意:输入输出文件地址,如果用主机名,则需要设置一下本地的hosts

  • 相关阅读:
    ajax专题
    luogu P1346 电车 最短路
    luogu P1462 通往奥格瑞玛的道路 最短路
    luogu P1328 生活大爆炸版石头剪刀布
    luogu P1315 联合权值 枚举
    luogu P1156 垃圾陷阱 背包问题
    luogu P1217 回文质数 枚举
    luogu P3650 滑雪课程设计 枚举
    luogu1209 修理牛棚 贪心
    luogu P1223 排队接水 贪心
  • 原文地址:https://www.cnblogs.com/zhangwenjing/p/3623771.html
Copyright © 2011-2022 走看看