hadoop是分布式系统基础架构:
1)主要解决的是海量数据的存储和海量数据的分析计算
2)haddop的三大发行版本,一下这个是免费的版本
3)hadoop的优势
高可靠性、高扩展性、高效性(并行工作)、高容错性
4)hadoop1.x组成:common辅助工具、hdfs数据存储、MapReduce计算+资源调度
5)HDFS架构的概述:
1、NAmeNode:存储文件的元数据(比如文件名、文件目录结构、文件属性)
2、DataNode在本地的文件系统村吓唬文件块数据以及块数据的检验和
3、secondary NameNode是辅助NameNode的
5)Yarn架构:
以下是ResourceMAnager的主要的作用
1、处理客户端请求
2、监控NodeManager
3、启动或监控ApplicationMaster
4、资源的分配与调度
以下是NodeManager主要的作用如下:
1、管理单的节点上的资源
2、处理来自ResourceManager的命令
3、处理来时ApplicationMaster的命令
以下是Applicatonmaster的作用:
1、负责数据的切分
2、为应用程序申请资源并分配给内部的任务
3、任务的监控和容错
以下是containter:
是yarn的资源抽象,如内存
6)mapreduce架构的概述
将计算的过程分为了两个阶段:Map和Reduce这两个。其中Map阶段是负责分的而reduce是负责和的