zoukankan      html  css  js  c++  java
  • Ubuntu上搭建hadoop环境+eclipse设置

    我的版本:
    Ubuntu 12.04
    Hadoop 1.2.1

    参考链接:http://blog.csdn.net/hitwengqi/article/details/8008203

      按照上面链接安装,不过可以不建立新的用户,直接用安装Ubuntu的用户就可以,而且直接就是属于管理员组。

      单机模式很顺利,在配置伪分布模式的时候出现了一个问题:启动Hadoop之后,用jps命令验证发现启动项总是少一个,DataNode没有。之后从网上查修正方法,失败理由各种各样,但那么多种方案都没有效果。后来跟一大神问,大神不愧大神,虽然没有装过Hadoop,但是搜索方法的能力绝对一流,我按照人家给发的链接的方法,一下就了。不过当时在webqq,已经找不到那个链接地址了。方法如下:

    先关闭所有启动项:  /usr/hadoop/bin$ stop-all.sh 
    然后删除三个文件夹:
    core-site.xml文件里 hadooptmp.dir对应的文件夹:/usr/hadoop/tmp 和 /usr/hadoop/logs
    hdfs-site.xml文件里 dfs.data.dir对应的文件夹:/usr/hadoop/hdfs/data
    再按照链接里的方法进行一次格式化HDFS。

    可以在格式化HDFS的时候,写过命令 hadoop namenode -format 之后,手动删除上面说的三个文件夹, 然后再启动hadoop,这样就不会出现最开始的问题了。

      为了以后每次启动Hadoop(start-all.sh)能直接用,要将其目录加入到系统环境变量里,在 ~/hadoop/conf/hadoop-env.sh 添加的内容复制到 ~/.bashrc 或者 /etc/profile 里,重启终端就好。

    添加内容如下:

    JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
    HADOOP_HOME=/home/kxxie/hadoop
    PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
    CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/lib/*
    
    export JAVA_HOME
    export JRE_HOME=/usr/lib/jvm/java-6-openjdk-i386/jre
    export PATH
    export CLASSPATH

    这样每次启动Hadoop的时候,只需要在终端命令:start-all.sh,用jps命令检查有六个启动项即为成功。


    接下来就是配置Eclipse:
    参考链接:http://www.cnblogs.com/linjiqin/archive/2013/06/21/3147902.html

      没有什么问题,按照教程里的步骤一步一步来,需要填的内容要对应自己的Hadoop配置的各项IP就好。但是每次启动eclipse都麻烦,可以将eclipse加入到系统环境变量,但是在终端启动的时候貌似需要一
    直开着一个终端,嗯,强迫症又犯了,于是我是在桌面上建立了一个快捷方式。

    参考链接:http://www.cppblog.com/kangnixi/archive/2010/07/12/120105.aspx

    好了!开始学习MapReduce,哦耶(*^__^*)

  • 相关阅读:
    从源码解读Spring如何解决bean循环依赖
    前后端分离下用jwt做用户认证
    断点调试获取程序当前位置的运行结果
    Win10安装MySQL8压缩包版
    IDEA实用快捷键推荐
    多平台博客发布工具OpenWrite的使用
    Tomcat部署多个war包
    从储值卡(会员卡)充值业务看分布式事务的设计
    再谈 PHP 未来之路
    Swoole 实战:MySQL 查询器的实现(协程连接池版)
  • 原文地址:https://www.cnblogs.com/kathyrine/p/3641330.html
Copyright © 2011-2022 走看看