zoukankan      html  css  js  c++  java
  • win系统下的eclipse连接和使用linux上的hadoop集群

    准备工作

    先在win系统的hosts文件中加入下面内容

    10.61.6.164master     //hadoop集群的master节点



    一、首先在eclipse上安装hadoop插件

    下载hadoop-eclipse-plugin-1.1.2.jar。将其复制到eclipse 安装文件夹下的plugins,再启动eclispe。这时在eclipse的File/New/other下会看到一下的内容,证明插件成功安装


    二、在Window/show view/other里打开Map/Reduce Locations


    打开后会有下图所看到的的窗体。点击右側的紫色小象


    会弹出下图所看到的的窗体


    然后配置你的连接信息:

    Location name:自己能够定义为不论什么名字

    Host:是你的hadoop集群的master节点的ip地址

    Port:必需按上图配置,当然假设你配置hadoop集群时将默认port换了,此处则为你自己改动的port号


    配置完以后会在左側文件夹栏里看到


    三、配置程序执行參数(你的项目必需是mapreduce项目,而且已经加入hadoop里的全部jar包)

    先在你的项目下建立一个in文件夹,并将data数据文件复制到当中,再将你的项目导出问jar文件。然后在你的项目的main函数里加入下面代码

    conf.set("mapred.jar", "E://FreqItemSet.jar");//mapred.jar不能更改


    右击你的项目。选择Run as/Run Configurations  


    点击Arguments

    在里面加入上图中的内容

    Lee 文件在HDFS上的存储路径<dfs_path>

    in/data 输入文件(本地路径)<input>

    项集的大小k

    1 支持度阈值<spt_dg>

    out 输出文件<本地路径><output>

    点击ok你的项目就可以连接和使用你的hadoop集群了


  • 相关阅读:
    【JavaScript】出现即使设置了ID也获取不到的可能原因与window.onload
    雄踞AppStore榜首的游戏&lt;别踩到白块儿&gt;源码分析和下载(一)
    WordPress公布新文章Email通知注冊用户
    BZOJ 1861 ZJOI2006 Book 书架 Splay
    Oracle Outline总结
    Matplot中文乱码完美解决方式
    Linux 在一个命令行上执行多个命令
    tophat
    echo输出到stderr
    随机森林
  • 原文地址:https://www.cnblogs.com/brucemengbm/p/7039526.html
Copyright © 2011-2022 走看看