zoukankan      html  css  js  c++  java
  • hadoop环境搭建

    目标:创建1个4台机器的hadoop集群(1台namenode和3台datanode),这四台机器可以互相ping通。

    参考文档:http://www.mashibing.com/hadoop_install.html

    1 首先下载所需软件

    下载VirtualBox http://download.virtualbox.org/virtualbox/5.1.18/VirtualBox-5.1.18-114002-Win.exe
    下载CentOS http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
    下载XShell与XFtp 请在百度自己搜索与安装
    下载jdk http://download.oracle.com/otn-pub/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.rpm
    下载hadoop2.7.3 -> http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz


    2 安装VirtualBox并设定其虚拟网卡的IP地址

    3 在VirtualBox中新建虚拟机并安装CentOS,选择基础设施服务器

    4 设置虚拟机的网络,使其可以和主机互相ping通

    在虚拟机中选用host-only网络
    vi /etc/sysconfig/network
    NETWORKING=yes
    GATEWAY=192.168.56.1
    vi /etc/sysconfig/network-sripts/ifcfg-enp0s3 TYPE=Ethernet IPADDR=192.168.56.100 NETMASK=255.255.255.0
    修改主机名hostnamectl set-hostname master (主机名千万不能有下划线!)
    重启网络service network restart
    互相ping,看是否测试成功,若不成功,注意防火墙的影响。关闭windows或虚拟机的防火墙。systemctl stop firewalld system disable firewalld

    使用XShell登陆
    检查ssh服务状态systemctl status sshd (service sshd status),验证使用XShell是否能登陆成功。

    将hadoop和jdk上传到虚拟机
    安装JDK rpm -ivh ./xxxxx.jdk,验证rpm -qa | grep jdk,在命令行中敲java命令,确认jdk已经安装完成
    jdk默认安装在/usr/java目录下
    安装hadoop
    cd /usr/local
    tar –xvf ./hadoop-2.7.2.tar.gz
    把目录修改为hadoop mv hadoop-2... hadoop
    修改hadoop-env.sh
    vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh
    修改export JAVA_HOME 语句为 export JAVA_HOME=/usr/java/default
    把/usr/hadoop/bin和/usr/hadoop/sbin设到PATH中
    vi /etc/profile
    追加 export PATH=$PATH:/usr/hadoop/bin:/usr/hadoop/sbin
    source etc/profile
    测试hadoop命令是否可以直接执行,任意目录下敲hadoop
    关闭虚拟机,复制3份
    分别修改虚拟机的ip和hostname,确认互相能够ping通,用ssh登陆,同时修改所有虚拟机的/etc/hosts,确认使用名字可以ping通

  • 相关阅读:
    时尚意
    ​runtime 运行时机制
    ios-UIAlertView,UIActionSheet-常用方法
    ios-UIActivityIndicatorView-常用方法
    ios-UIPageControl-常用方法
    ios-UISegmentedControl-常用方法
    ios-UISlider-常用方法和定时器NSTimer的使用
    ios-UITextField-常用方法
    java捕获特定异常特定处理
    ios-UIButton-常用方法
  • 原文地址:https://www.cnblogs.com/mycd/p/7588416.html
Copyright © 2011-2022 走看看