zoukankan      html  css  js  c++  java
  • Hadoop环境搭建01

    根据马士兵老师的Hadoop进行的配置

    1.首先列下来需要用到的软件

      VirtulBox虚拟机、Centos7系统镜像、xshell、xftp、jdk安装包、hadoop-2.7.0安装包

    2.在VirtulBox虚拟机中安装四台Cenos系统

      

    四台主机分别为master和 三台slave,其中master中配置namenode,slave中配置datanode,都设置基本的服务器功能即可

    3.虚拟机中选择host-only网络

    4.设置ip地址

    输入命令

    vi /etc/sysconfig/network-sripts/ifcfg-enp0s3 

    设置IPADDR(master为192.168.56.100,slave1~3分别为 192.168.56.101~192.168.56.103)

    先查看本机host-only的ip地址为192.168.56.1

    设置网关NATMASK=255.255.255.0

     vi /etc/sysconfig/network 


    NETWORKING=yes(启动时激活联网)
    GATEWAY=192.168.56.1

    5.修改主机名(注意Centos7 命令不一样)

    hostnamectl set-hostname master

    6.重启网络

    service network restart

    7.关闭防火墙,测试是否能相互Ping通

    关闭防火墙命令(Centos7采用firework防火墙,无iptables相关命令,需要iptables另行安装):

    systemctl stop firewalld system d8isable firewalld

    8.安装JDK

    JDK rpm -ivh ./xxxxx.jdk  安装.rpm格式的jdk命令

    jdk默认安装在/usr/java目录下

    9.安装Hadoop

    通过xftp将Hadoop安装包放到/usr/local下,利用命令tar –xvf ./hadoop-2.7.2.tar.gz进行解压

    修改解压后的目录名mv hadoop 2.7.0 hadoop 

    进入hadoop-env.sh(由于hadoop是由java开发的,所以要找到jdk的目录才能运行hadoop)

    vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh

    修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default

    把/usr/hadoop/bin和/usr/hadoop/sbin设到PATH中

    vi /etc/profile

    追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin

    启用profile

    source etc/profile

    测试hadoop是否安装成功可以在任意目录敲hadoop

  • 相关阅读:
    可恶的0x1A
    求关注 wcf bindipendpointdelegate 端口限制的功能
    2015 UESTC Training for Data Structures
    Codeforces Round #298 (Div. 2)
    利用rawcap抓包(自己发给自己的包裹)
    PYTHON POST练手
    CentOS安装Nginx 实现HTTP代理
    how to make vim show ^M and substitute it
    Oracle SQL Developer: cannot find a j2se sdk
    Codeforces Round #282 (Div. 2)
  • 原文地址:https://www.cnblogs.com/brucekun/p/7573426.html
Copyright © 2011-2022 走看看