Hadoop学习笔记（二）浅谈Hadoop守护进程

Hadoop初学笔记（二）浅谈Hadoop守护进程

对于分布式系统架构来说，一般而言分成两个部分：

1. 管理层，用于对应用层的管理

2. 应用层，用于任务的执行

在Hadoop中，主要的后台守护进程包括：

• NameNode元数据服务器

  主节点，存储文件的元数据（文件名，文件目录结构，文件属性——生成时间，副本数，文件权限），以及每个文件的块列表和块所在的DataNode等

• SecondaryNameNode辅助元数据服务器

  用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据快照

• DataNodes块存储

  在本地文件系统存储文件块数据，以及块数据校验和

• JobTracker任务调度

  负责接收用户提交的作业，负责启动、跟踪任务执行

• TaskTrackers任务执行

  负责执行由JobTracker分配的任务，管理各个任务在每个节点的执行情况

HDFS分布式文件系统

NameNode：属于管理层，用于管理数据

SecondaryNameNode：属于管理层，辅助NameNode管理

DataNodes：属于应用层，用于数据的存储，被NameNode管理里，定时向NameNode进行工作汇报，执行NameNode分配分发的任务

MapReduce分布式并行计算框架

JobTracker：属于管理层，管理集群资源与对任务调度，监控任务的执行
TaskTracker：属于应用层，执行JobTracker分配分发的任务，并向JobTracker汇报任务的执行情况