zoukankan      html  css  js  c++  java
  • windows下使用eclipse远程编写hadoop配置

    1、按照一般方法配置好hadoop伪分布式,注意core-site.xml和mapred-site.xml用IP,不要用localhost

    2、格式化hdfs文件系统hadoop namenode -format

    2、更改本地用户名为远程服务器的hadoop用户名,我的直接改成了root

    3、我使用的hadoop-1.2.1,eclipse为3.6,插件为hadoop-eclipse-plugin-1.2.1、jdk1.6,location设置如下,9009对应mapred-site.xml中mapred.job.tracker端口,9008对应core-site.xml中df.default.name的端口


    4、可能会出现连接不上的情况,使用netstat -nap | gerp port查看对应端口情况,本人查询情况如下,使用telnet ip port查看端口是否可以连通

    第一列是协议Proto    第四列是Local Address  第五列是 Foreign Address 


    Connected to ...表示连通上了

    4、注意eclipse的jdk路径、workspace路径、hadoop路径都不要有中文和空格

    5、如果出现Failed to set permissions of path: mphadoop-rootmapredstaging oot1313294990.staging to 0700错误,将本地hadoop-core-1.2.1.jar换成

    修改/hadoop-1.0.2/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue,重新编译打包的hadoop-core-1.0.2.jar,地址

  • 相关阅读:
    Lesson 61-62 Are Relatives Important to You?
    Lesson 59-60 Househusband
    Lesson 57-58 Cosmetic Surgery
    Lesson 55-56 TV Commercials
    Blash
    高维宇宙
    巴卡尔
    完美标号
    小A点菜(luogu 1164)简单DP
    聪明的质监员(qc)
  • 原文地址:https://www.cnblogs.com/yan456jie/p/5369357.html
Copyright © 2011-2022 走看看