zoukankan      html  css  js  c++  java
  • hadoop安装配置

    一、准备工作:

        软件:VMware虚拟机软件linux系统为:ubuntu-10.10-desktop-i386

    二、环境配置

        (一)VMware安装略过

        (二)linux安装:

     

     

     

     

     

     

     

    root账号创建密码

    打开终端

     

    输入命令:sudo passwd root

    接下来换提示操作即可

    输入命令:su  root 切换到root账号进行接下来的操作,可以省却很多繁琐的权限问题

    我们还是切换到root登录系统吧

     

    切换了之后结果发现屏幕分辨率较低,可按以下步骤进行操作:

        找到boot/grub/grub.cfg(如果没有找到这个文件,那就下载我上传的附件直接复制进去) 然后修改grub.cfg文件里面找到 set gfxmode=1366×768  原来应该是 set gfxmode=800×600 这理改成你想要的就可以了 保存,重启 ok 先窗口化,在双击最大化,就实现全屏了。

    下载JAVA SDK,可以先在windows下用迅雷下载,会快很多,再拷进linux里面,当然也可以在linux里下载,不过速度会慢很多 命令: wget -c

    http://download.oracle.com/otn-pub/java/jdk/6u25-b06/jdk-6u25-linux-i586.bin -c是用来断点续传的。

    下载完成,现在把文件拷到linux桌面上,打开终端

     

    输入命令: cp /root/Desktop/jdk-6u25-linux-i586.bin /usr/local

    输入命令:cd  /usr/local

                         ./ jdk-6u25-linux-i586.bin 安装文件

    输入命令:gedit /etc/profile

    在文件最后加入如下代码:

    #set JDK environment

    export JAVA_HOME=/usr/local/jdk1.6.0_22

    export PATH=$PATH:$JAVA_HOME/bin

    export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    export JRE_HOME=$JAVA_HOME/jre

    执行如下命令使环境变量生效:

    $ source /etc/profile 

    检查环境变量设置是否正确:

    $ java -version

    输出如下:

    java version "1.6.0_25"

    Java(TM) SE Runtime Environment (build 1.6.0_25-b06)

    Java HotSpot(TM) Client VM (build 20.0-b11, mixed mode, sharing)

    表示JDK已经成功安装

    安装Hadoop

    下载hadoop

    下载完之后,命令行输入:tar -xzvf tar -xzvf hadoop-0.20.203.0rc1.tar.gz进行解压

    重命名为hadoop

    cd hadoop

    cd conf/core-site

    修改 conf/core-site.xml:

    <configuration>

      <property>

        <name>fs.default.name</name>

        <value>hdfs://localhost:9000</value>

      </property>

    </configuration>

    gedit conf/hdfs-site.xml

    修改conf/hdfs-site.xml:

      <configuration>

        <property>

          <name>dfs.replication</name>

          <value>1</value>

        </property>

      </configuration>

    gedit conf/mapred-site.xml

    修改conf/mapred-site.xml:

      <configuration>

        <property>

          <name>mapred.job.tracker</name>

          <value>localhost:9001</value>

        </property>

      </configuration>

    hadoop运行需要JDK支持,因此需要配置Java的安装路径

    gedit conf/hadoop-env.sh

    加入下面一行(由JDK具体安装的路径决定):

    export JAVA_HOME=/usr/local/jdk1.6.0_25

    创建一个新的分布式文件系统:

    bin/hadoop namenode -format

    bin/start-all.sh启动hadoop

    结果没启动成功,看了下日志,发现出现了connect to host localhost port 22,原来是ssh没有装

    apt-get install openssh-server 安装ssh

    建立 SSH KEY 

    $ ssh-keygen -t rsa -P "" (注意不要多加空格或缺少空格)

    中途需要安装者选择保存密钥的文件,按回车使用默认的文件就可以了:

    Enter file in which to save the key (/root/.ssh/id_rsa):(按回车)

    启用SSH KEY:

    $ cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

    /etc/init.d/ssh reload

    reload ssh

    ssh localhost

    再次运行hadoop

    bin/start-all.sh

    发现如下错误 Unrecognized option: -jvm

    可以根据这个链接进行修改

    再次bin/start-all.sh

    如果启动不起来 请先 bin/hadoop -namenode format

    bin/stop-all.sh,bn/start-all.sh

    接着访问http://localhost:50030,http://localhost:50070,如果成功打开了,说明安装成功了

    接着安装eclipse

    输入命令 apt-get install eclipse

    安装完成之后

    输入cp /usr/local/hadoop/contrib/eclipse-plugin/hadoop-eclipse-plugin-0.20.203.0.jar /usr/lib/eclipse/plugins

    找到/usr/lib/eclipse 打开eclipse

    windows->preferences

     

    选择hadoop安装路径,选择好之后点击确定

     

     

     

     

     

     

    配置后结果发现出错

    发现没配置好

    在终端中输入

    $ gedit /etc/profile

    修改运行环境,在文件最尾添加如下内容:

    export HADOOP_HOME=/usr/local/hadoop (此处即为hadoop的安装目录)
    export PATH=$PATH:#HADOOP_HOME/bin

    接下来又会报出另外一个错误,请参照这个链接

    至此环境已配置完毕,真麻烦

  • 相关阅读:
    MATLAB(2)——小波工具箱使用简介
    unity Changing Game View background color
    opengl剪裁空间和视口空间中不遵从右手定则,而是遵从左手定则
    vc2010, fatal error LNK1123: failure during conversion to COFF: file invalid or corrupt解决办法
    Xcode, does not contain bitcode. You must rebuild it with bitcode enabled (Xcode setting ENABLE_BITCODE) 解决办法
    in App Purchases一个注意事项
    unity, Invoke延迟执行
    unity UGUI text font size对性能影响较大
    bullet, iOS真机编译错误error: identifier or immediate expression expected解决方法
    unity,实现屏幕后处理的两种方法
  • 原文地址:https://www.cnblogs.com/lovetio/p/2362436.html
Copyright © 2011-2022 走看看