zoukankan      html  css  js  c++  java
  • eclipse远程连接hadoop单机模式出现的问题

    按照http://tydldd.iteye.com/blog/2007938配置单机模式

    主要是

    (1)配置hadoop-env.sh,指定jdk的安装路径

    Xml代码  收藏代码
    1. 添加jdk路径  
    2. # The java implementation to use.  Required.  
    3.  export JAVA_HOME=/home/ruge/soft/jdk1.7.0_45  

     (2)修改hadoop的核心配置文件core-site.xml,配置namenode的地址和端口

    Xml代码  收藏代码
    1. <configuration>  
    2.      <property>  
    3.          <name>fs.default.name</name>  
    4.          <value>hdfs://localhost:9000</value>  
    5.      </property>  
    6. </configuration>  

     

    Java代码  收藏代码
    1. 这个还是很必要的,如果不配置临时目录,格式化hdfs是会在/tem目录下创建临时目录但是tmp目录重启系统会清楚下面文件。这样namenode就启动不起来了  
    2.  <property>  
    3.          <name>hadoop.tmp.dir</name>  
    4.          <value>/home/ruge/hadoop/hadooptmpdir</value>  
    5.          <description>A base for other temporary directories.</description>  
    6.      </property>  

      

    (3)修改hadoop的hdfs-site.xml,配置replication,即数据保存份数

    Java代码  收藏代码
    1. <property>  
    2.          <name>dfs.replication</name>  
    3.          <value>1</value>  
    4. </property>  

     

     (4)修改hadoop的mapred-site.xml,配置jobtracker的地址和端口

     

    Java代码  收藏代码
    1. <property>  
    2.          <name>mapred.job.tracker</name>  
    3.          <value>localhost:9001</value>  
    4. </property>  


    然后配置eclipse



    出现error: Call to 192.168.238.129/192.168.238.129:9000 failed on connection exception: java.net.ConnectException:这个错误

    参考http://menuz.iteye.com/blog/1848459

    检测是否可以连通telnet ip port,无法连通

    检测端口被占用情况 netstat -nap  发现占用的为java(以为错了,重新设定了端口为9008和9009,发现还是java,看来hadoop占用端口的program就是java)

    而后刷新eclipse,又可以连上了

  • 相关阅读:
    iqueryable lambda表达式
    win10安装后耳机有声音而外放无声音
    Coursera机器学习week11 笔记
    Coursera机器学习week10 单元测试
    Coursera机器学习week10 笔记
    Coursera机器学习week9 编程作业
    Coursera机器学习week9 单元测试
    Coursera机器学习week9 笔记
    Coursera机器学习week8 编程作业
    Coursera机器学习week8 单元测试
  • 原文地址:https://www.cnblogs.com/yan456jie/p/5369358.html
Copyright © 2011-2022 走看看