zoukankan      html  css  js  c++  java
  • eclipse远程连接hadoop单机模式出现的问题

    按照http://tydldd.iteye.com/blog/2007938配置单机模式

    主要是

    (1)配置hadoop-env.sh,指定jdk的安装路径

    Xml代码  收藏代码
    1. 添加jdk路径  
    2. # The java implementation to use.  Required.  
    3.  export JAVA_HOME=/home/ruge/soft/jdk1.7.0_45  

     (2)修改hadoop的核心配置文件core-site.xml,配置namenode的地址和端口

    Xml代码  收藏代码
    1. <configuration>  
    2.      <property>  
    3.          <name>fs.default.name</name>  
    4.          <value>hdfs://localhost:9000</value>  
    5.      </property>  
    6. </configuration>  

     

    Java代码  收藏代码
    1. 这个还是很必要的,如果不配置临时目录,格式化hdfs是会在/tem目录下创建临时目录但是tmp目录重启系统会清楚下面文件。这样namenode就启动不起来了  
    2.  <property>  
    3.          <name>hadoop.tmp.dir</name>  
    4.          <value>/home/ruge/hadoop/hadooptmpdir</value>  
    5.          <description>A base for other temporary directories.</description>  
    6.      </property>  

      

    (3)修改hadoop的hdfs-site.xml,配置replication,即数据保存份数

    Java代码  收藏代码
    1. <property>  
    2.          <name>dfs.replication</name>  
    3.          <value>1</value>  
    4. </property>  

     

     (4)修改hadoop的mapred-site.xml,配置jobtracker的地址和端口

     

    Java代码  收藏代码
    1. <property>  
    2.          <name>mapred.job.tracker</name>  
    3.          <value>localhost:9001</value>  
    4. </property>  


    然后配置eclipse



    出现error: Call to 192.168.238.129/192.168.238.129:9000 failed on connection exception: java.net.ConnectException:这个错误

    参考http://menuz.iteye.com/blog/1848459

    检测是否可以连通telnet ip port,无法连通

    检测端口被占用情况 netstat -nap  发现占用的为java(以为错了,重新设定了端口为9008和9009,发现还是java,看来hadoop占用端口的program就是java)

    而后刷新eclipse,又可以连上了

  • 相关阅读:
    GitLab 介绍
    git 标签
    git 分支
    git 仓库 撤销提交 git reset and 查看本地历史操作 git reflog
    git 仓库 回退功能 git checkout
    python 并发编程 多进程 练习题
    git 命令 查看历史提交 git log
    git 命令 git diff 查看 Git 区域文件的具体改动
    POJ 2608
    POJ 2610
  • 原文地址:https://www.cnblogs.com/yan456jie/p/5369358.html
Copyright © 2011-2022 走看看