zoukankan      html  css  js  c++  java
  • 大数据05

    hadoop是分布式系统基础架构:

    1)主要解决的是海量数据的存储和海量数据的分析计算

    2)haddop的三大发行版本,一下这个是免费的版本

     3)hadoop的优势

    高可靠性、高扩展性、高效性(并行工作)、高容错性

    4)hadoop1.x组成:common辅助工具、hdfs数据存储、MapReduce计算+资源调度

    5)HDFS架构的概述:

    1、NAmeNode:存储文件的元数据(比如文件名、文件目录结构、文件属性)

    2、DataNode在本地的文件系统村吓唬文件块数据以及块数据的检验和

    3、secondary NameNode是辅助NameNode的

    5)Yarn架构:

    以下是ResourceMAnager的主要的作用

    1、处理客户端请求

    2、监控NodeManager

    3、启动或监控ApplicationMaster

    4、资源的分配与调度

    以下是NodeManager主要的作用如下:

    1、管理单的节点上的资源

    2、处理来自ResourceManager的命令

    3、处理来时ApplicationMaster的命令

    以下是Applicatonmaster的作用:

    1、负责数据的切分

    2、为应用程序申请资源并分配给内部的任务

    3、任务的监控和容错

    以下是containter:

    是yarn的资源抽象,如内存

    6)mapreduce架构的概述

    将计算的过程分为了两个阶段:Map和Reduce这两个。其中Map阶段是负责分的而reduce是负责和的

  • 相关阅读:
    运行期优化
    虚拟机字节码执行引擎
    虚拟机类加载机制
    类文件结构
    垃圾收集机制
    浅析Spring MVC工作机制
    TomCat系统架构
    docker安装mongo初体验
    微服务笔记--概念
    使用maven构建多模块项目_记录
  • 原文地址:https://www.cnblogs.com/dazhi151/p/13472208.html
Copyright © 2011-2022 走看看