zoukankan      html  css  js  c++  java
  • 【Hadoop学习之三】Hadoop全分布式安装

    环境
      虚拟机:VMware 10
      Linux版本:CentOS-6.5-x86_64
      客户端:Xshell4
      FTP:Xftp4
      jdk8
      hadoop3.1.1

    全分布式就是集群,注意配置主机名。

    一、平台和软件
    1、安装JDK和免密登录参考:【Hadoop学习之二】Hadoop伪分布式安装

    2、设置环境变量
    [root@node1 /]# vi /etc/profile
    [root@node1 /]# source /etc/profile

    #注意pwd 是打印当前路径  意思是要拷贝到远程主机统一目录下
    [root@node1 etc]# scp /etc/profile node2:`pwd`
    profile                                                                                100% 1947     1.9KB/s   00:00
    [root@node1 etc]# scp /etc/profile node3:`pwd`
    profile                                                                                100% 1947     1.9KB/s   00:00
    [root@node1 etc]# scp /etc/profile node4:`pwd`
    profile                                                                                100% 1947     1.9KB/s   00:00

    3、node1-node4设置主机名 后重启
    [root@node1 /]# vi /etc/hosts

    127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.230.11 node1
    192.168.230.12 node2
    192.168.230.13 node3
    192.168.230.14 node4

    分发到另外三个节点

    [root@node1 etc]# scp /etc/hosts node2:`pwd`
    hosts                                                                                  100%  242     0.2KB/s   00:00  
    [root@node1 etc]# scp /etc/hosts node3:`pwd`
    hosts                                                                                  100%  242     0.2KB/s   00:00  
    [root@node1 etc]# scp /etc/hosts node4:`pwd`
    hosts                                                                                  100%  242     0.2KB/s   00:00  

    第一次配置hosts  需要重启生效

    [root@node1 /]# reboot

    二、配置

    1、修改/usr/local/hadoop-3.1.1/etc/hadoop/hadoop-env.sh 设置JAVA环境变量、角色用户
    在最后添加如下设置:

    export JAVA_HOME=/usr/local/jdk1.8.0_65
    export HDFS_NAMENODE_USER=root
    export HDFS_DATANODE_USER=root
    export HDFS_SECONDARYNAMENODE_USER=root

    2、修改/usr/local/hadoop-3.1.1/etc/hadoop/core-site.xml 配置主节点相关信息

    (1)fs.defaultFS 主节点通讯信息 (hadoop3默认端口改为9820)
    (2)hadoop.tmp.dir 设置namenode元数据和datanode block数据的目录

    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://node1:9820</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/data/hadoopfull</value>
        </property>
    </configuration>

    3、修改/usr/local/hadoop-3.1.1/etc/hadoop/hdfs-site.xml 配置从节点相关信息
    (1)dfs.replication 副本数
    (2)dfs.namenode.secondary.http-address 二级namenode (hadoop默认端口改为9868)

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>node2:9868</value>
    </property>

    4、修改workers(hadoop2.X叫slave)配置从节点(DATANODE)信息
    配置:

    node2
    node3
    node4

    5、分发hadoop到node2、node3、node4  依赖免密登录  注意拷贝时的目录  (注意:jdk也可以采用这种方式分发)

    [root@node2 local]# scp -r /usr/local/hadoop-3.1.1 node2:`pwd`
    [root@node2 local]# scp -r /usr/local/hadoop-3.1.1 node3:`pwd` 
    [root@node2 local]# scp -r /usr/local/hadoop-3.1.1 node4:`pwd`

    三、启动

    首次启动,需要主节点进行格式化

    [root@node1 /]# hdfs namenode -format

    启动:node1作为namenode主节点,要在主节点上启动

    [root@node1 /]# start-dfs.sh

    关闭:

    [root@node1 /]# stop-dfs.sh

    可以使用jps命令,在node2、node3、node4上查看启动情况

  • 相关阅读:
    python3-while与if
    python3-while与continue
    python3-password在输入密码时隐藏密码
    input与字符串格式化
    for与break的用法
    bochs 2.6.8 常用命令集合
    关于8086中的jmp near ptr原理
    如何学习Python课程
    微信公众号去除密码安全提示
    模块的使用
  • 原文地址:https://www.cnblogs.com/cac2020/p/10208960.html
Copyright © 2011-2022 走看看