zoukankan      html  css  js  c++  java
  • Ubuntu上搭建hadoop环境+eclipse设置

    我的版本:
    Ubuntu 12.04
    Hadoop 1.2.1

    参考链接:http://blog.csdn.net/hitwengqi/article/details/8008203

      按照上面链接安装,不过可以不建立新的用户,直接用安装Ubuntu的用户就可以,而且直接就是属于管理员组。

      单机模式很顺利,在配置伪分布模式的时候出现了一个问题:启动Hadoop之后,用jps命令验证发现启动项总是少一个,DataNode没有。之后从网上查修正方法,失败理由各种各样,但那么多种方案都没有效果。后来跟一大神问,大神不愧大神,虽然没有装过Hadoop,但是搜索方法的能力绝对一流,我按照人家给发的链接的方法,一下就了。不过当时在webqq,已经找不到那个链接地址了。方法如下:

    先关闭所有启动项:  /usr/hadoop/bin$ stop-all.sh 
    然后删除三个文件夹:
    core-site.xml文件里 hadooptmp.dir对应的文件夹:/usr/hadoop/tmp 和 /usr/hadoop/logs
    hdfs-site.xml文件里 dfs.data.dir对应的文件夹:/usr/hadoop/hdfs/data
    再按照链接里的方法进行一次格式化HDFS。

    可以在格式化HDFS的时候,写过命令 hadoop namenode -format 之后,手动删除上面说的三个文件夹, 然后再启动hadoop,这样就不会出现最开始的问题了。

      为了以后每次启动Hadoop(start-all.sh)能直接用,要将其目录加入到系统环境变量里,在 ~/hadoop/conf/hadoop-env.sh 添加的内容复制到 ~/.bashrc 或者 /etc/profile 里,重启终端就好。

    添加内容如下:

    JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
    HADOOP_HOME=/home/kxxie/hadoop
    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/lib/*
    
    export JAVA_HOME
    export JRE_HOME=/usr/lib/jvm/java-6-openjdk-i386/jre
    export PATH
    export CLASSPATH

    这样每次启动Hadoop的时候,只需要在终端命令:start-all.sh,用jps命令检查有六个启动项即为成功。


    接下来就是配置Eclipse:
    参考链接:http://www.cnblogs.com/linjiqin/archive/2013/06/21/3147902.html

      没有什么问题,按照教程里的步骤一步一步来,需要填的内容要对应自己的Hadoop配置的各项IP就好。但是每次启动eclipse都麻烦,可以将eclipse加入到系统环境变量,但是在终端启动的时候貌似需要一
    直开着一个终端,嗯,强迫症又犯了,于是我是在桌面上建立了一个快捷方式。

    参考链接:http://www.cppblog.com/kangnixi/archive/2010/07/12/120105.aspx

    好了!开始学习MapReduce,哦耶(*^__^*)

  • 相关阅读:
    【机器学习具体解释】概率生成模型与朴素贝叶斯分类器
    Android中经常使用的bitmap处理方法
    微信第三方平台开发流程
    Java 文章链接
    Axure实现banner功能
    poi实现excel的导入导出功能
    github- 优秀资源总结
    java进阶文章优选链接,面试干货集合
    百万it资源百度网盘链接分享
    MySQL-Access denied for user 'username'@'localhost' (using password: YES) 解决
  • 原文地址:https://www.cnblogs.com/kathyrine/p/3641330.html
Copyright © 2011-2022 走看看