zoukankan      html  css  js  c++  java
  • hadoop分布式的环境搭建

    版本: 使用hadoop1.1.2    JDK为java7

    1.下载hadoop

    2.配置hadoop文件

    3测试

    1.下载hadoop:

          1.1

                在https://archive.apache.org/dist/hadoop/common/   中下载hadoop1.1.2 , 这里注意要下载 hadoop的bin,而不是带有src的文件 ,src的文件是未经编译的hadoop

           1.2

                  解压hadoop , 把hadoop的压缩包放在/opt下面 ,然后 使用命令解压 tar –zvxf hadoop-x.y.z.tar.gz

    2  hadoop的环境设置

           2.1配置环境变量:

                 这一步其实是可以不要的, 为了方便使用hadoop的shell命令,要在/etc/profile添加hadoop的的命令到path中;

    export HADOOP_INSTSALL="opt/hadoop/hadoop1.1.2"

    export PATH=${HADOOP_INSTALL}/bin:${PATH}

             2.2配置集群的主机名:

    在/etc/hosts中添加主机与IP的映射关系:

    vim /etc/hosts

    image

    配置完成之后 , 可以使用个ping <主机名> 来检测一下

    2.3建立ssh的免密码互联 , UbuntuDesktop是没有sshServer的,只有SshClient ,但是UbuntuServer是可以选择安装SShServer的

    因此要先安装sshServer , 使用命令apt-get ssh

    在ubuntu14.10的时候,ssh会出现版本不一致而无法使用, 可以把原来的ssh全部删除,然后重新安装就行勒

    安装好ssh之后 , 可以使用建立免密码互联了 , 具体步骤参照下一篇

    在${HADOOP_INSTALL}/conf中修改core-site.xml为

    image

    hadoop.tmp.dir是必须要指明的 ,否则重启的时候datanod无法启动 ,

    在${HADOOP_INSTALL}/conf中修改hdfs-site.xml为

    image

    image

    在hadoop-env.sh中加入

    export JAVA_HOME=${JAVA_HOME}  ####前提是你已经在系统中设置JAVA_HOME, 如果没有 就直接写自己的JAVA_HOME所在地

     有关这个文件的详情, 可以查看 http://www.cnblogs.com/greentomlee/p/4481636.html

    然后 刷新 source ./hadoop-env.sh

    在msters中设置master的Ip

    image

    指明datanode的节点

    image

    最后  , 关机重启 . 或者是使用 source /etc/profile 

  • 相关阅读:
    Linux mii-tool 命令
    MySQL 主从复制
    MySQL 备份与恢复
    SOAP 版本可能不匹配: 出现意外的 Envelope 命名空间 http://schemas.xmlsoap.org/wsdl/
    网管邮件配置
    ORA-10873
    Exception in thread "main" java.lang.UnsatisfiedLinkError:
    安装 ORACLE 11G出现Error Message:PRVF-7535
    mount /dev/sr0 /media/cdrom you must specify the filesystem type
    NBU 还原windows ORACLE数据库(BW)
  • 原文地址:https://www.cnblogs.com/greentomlee/p/4481139.html
Copyright © 2011-2022 走看看