zoukankan      html  css  js  c++  java
  • Hadoop——体系结构概述

    2019-11-26

    17:30:00

    一、HDFS的体系结构和运行原理

    1、主节点:NameNode 
    --管理维护HDFS
    2、从节点:DataNode 
    --保存数据块
    3、第二名称节点:SecondaryNameNode 
    --定期日志合并

    二、Yarn的体系结构和运行原理:运行MapReduce的容器

    1、主节点:ResourceManager
    职责:
    (*)接收任务请求
    (*)资源的分配
    (*)任务分配
    2、从节点:NodeManager
    职责:
    (*)从ResourceManager获取任务和资源 
    (*)执行
    3、调度MR任务的过程
    4、资源分配方式 
    (1)FIFO Scheduler:先来先得 
    (2)Capacity Scheduler:容器管理 
    (3)Fair Scheduler:公平调度管理 ,前提:假设任务具有相同优先级,平均分配资源

    三、HBase的体系结构和运行原理

    HBase是基于HDFS之上的NoSQL数据库
    1、主节点:HMaster
    2、从节点:RegionServer

  • 相关阅读:
    MUI-页面传参数
    Spring-boot:多模块打包
    PythonDay11
    PythonDay10
    PythonDay09
    PythonDay08
    PythonDay07
    PythonDay06
    PythonDay05
    PythonDay04
  • 原文地址:https://www.cnblogs.com/JasonPeng1/p/11937136.html
Copyright © 2011-2022 走看看