zoukankan      html  css  js  c++  java
  • Hadoop学习之路(五)Hadoop集群搭建模式和各模式问题

    分布式集群的通用问题

    当前的HDFS和YARN都是一主多从的分布式架构,主从节点---管理者和工作者

    问题:如果主节点或是管理者宕机了。会出现什么问题?

    群龙无首,整个集群不可用。所以在一主多从的架构中都会有一个通用的问题:

    当集群中的主节点宕机之后,整个集群不可用。这个现象叫做:单点故障。SPOF

    单点故障讲述的概念有两点

    1、如果说宕机的那个节点是从节点,那么整个集群能够继续运行,并且对外提供正常的服务。

    2、如果说宕机的那个节点是主节点,那么整个集群就处于宕机状态。

    通用的解决方案:高可用

    概念:当正在对外提供服务器的主从节点宕机,那么备用的主节点立马上位对外提供服务。无缝的瞬时切换。

    皇帝驾崩,太子继位。

    集群的搭建的集中通用模式

    1、单机模式

      表示所有的分布式系统都是单机的。

    2、伪分布式模式(搭建在了只有一个节点的集群中)

      表示集群中的所有角色都分配给了一个节点。

      表示整个集群被安装在了只有一个节点的集群中的。

      主要用于做快速使用,去模拟分布式的效果。

    3、分布式模式

      表示集群中的节点会被分配成很多种角色,分散在整个集群中。

      主要用于学习测试等等一些场景中。

    4、高可用模式

      表示整个集群中的主节点会有多个

      注意区分:能够对外提供服务的主节点还是只有一个。其他的主节点全部处于一个热备的状态。

      正在对外提供服务的主节点:active  有且仅有一个

      热备的主节点:standby  可以有多个

      工作模式:1、在任意时刻,只有一个主节点是active的,active的主节点对外提供服务

           2、在任意时刻,都应至少有一个standby的主节点,等待active的宕机来进行接替

      架构模式:就是为了解决分布式集群中的通用问题SPOF

      不管是分布式架构还是高可用架构,都存在一个问题:主从结构---从节点数量太多了。最直观的的问题:造成主节点的工作压力过载,主节点会宕机,当前的这种现象是一种死循环

    5、联邦模式

      表示当前集群中的主从节点都可以有很多个。

      1)主节点:可以有很多个的意思是说:同时对外提供服务的主节点有很多个。

                重点:每一个主节点都是用来管理整个集群中的一部分

      2)从节点:一定会有很多个。

      在联邦模式下还是会有问题:

      虽然这个集群中的一个主节点的压力被分摊到了多个主节点。但是这个多个主节点依然会有一个问题:SOFP

    安装Hadoop集群中的一些通用问题

    1、假如安装不成功,并且不知道应该怎么去解决这个安装错误:重装

       需要做的处理:处理安装步骤中不同的部分即可。第一次安装和重装时候的不同步骤:

       1)到修改配置文件以前,全部都不用动

       2)检查配置文件是否都正确

        先检查一个节点上的配置文件是否都正确,如果都正确,重新分发一次即可

       3)在安装分布式集群时,所有节点中的安装的安装目录和安装者,需要检查和确定

       4)删掉数据目录

        A. 删除主节点的工作目录:namenode的数据目录

            删除即可,只需要在主节点删除即可

        B. 删除从节点的工作目录:datanode的数据目录

            删除即可,把每个从节点上的这个对应数据目录都删掉

            如果以上两份数据都被删除了之后。整个集群当中就相当于没有存储任何的历史数据。所以就是一个全新的集群

      5)在确保数据正常和安装包都正常之后,进行重新初始化

         重点强调: hadoop集群的初始化,其实就是初始化HDFS集群, 只能在主节点进行初始化

         如果你只需要搭建YARN集群,那么是可以不用做初始化的。

      6)启动集群

      7)验证集群是否成功

    Linux环境变量加载的顺序

    用户环境变量 :仅仅只是当前用户使用 ~/.bashrc   ~/.bash_profile
    系统环境变量 :给当前系统中的所有用户使用 /etc/profile

    任何普通用户在进行登录的时候:会同时加载几个环境变量的配置文件:

    按顺序:
    1、/etc/profile
    2、~/.bash_profile
    3、~/.bashrc

  • 相关阅读:
    iOS NSPredicate和正则表达式
    Linux下网络socket编程——实现服务器(select)与多个客户端通信
    多线程有什么用?
    一句话说明白什么是面向对象
    (转)简单的Malloc实现
    动态内存管理:malloc/free/new/delete/brk/mmap
    Qt绘制中国象棋棋盘
    (转)Qt中文手册 之 QApplication
    Qt常用类——QFrame类与QWidge类
    Qt常用类——QWidget
  • 原文地址:https://www.cnblogs.com/qingyunzong/p/8521435.html
Copyright © 2011-2022 走看看