Hadoop 集群搭建

一、Hadoop 2.0

Hadoop 2.0包含一个支持NameNode横向扩展的HDFS,一个资源管理系统 YARN 和一个运行在 YARN 上的离线计算框架MapReduce。相比于Hadoopl.0,Hadoop 2.0功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。

1.集群简介

●HADOOP集群具体来说包含两个集群:

HDFS集群
YARN集群

两者逻辑上分离，但物理上常在一起。

●HDFS集群负责海量数据的存储，集群中的角色主要有:

NameNode、DataNode、SecondaryNameNode

●YARN集群负责海量数据运算时的资源调度，集群中的角色主要有:

ResourceManager、NodeManager

Mapreduce 是一个分布式运算编程框架,是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。

2.Hadoop 的部署方式

Hadoop部署方式分三种, Standalone mode(独立模式).Pseudo-Distributedmode(伪分布式模式)、Clustermode(群集模式),其中前两种都是在单机部署。

●独立模式

又称为单机模式,仅1个机器运行1个java进程，主要用于调试。

●伪分布模式

也是在1个机器上运行HDFS的NameNode和DataNode、YARN 的 ResourceManger和NodeManager,但分别启动单独的java 进程,主要用于调试。

●集群模式

主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

二、伪分布式集群搭建

HDFS配置文件可发送邮箱 xudong1597@foxmail.com请求获取

三、eclipse 配置 MapReduce编程模型

MapReduce配置文件可发送邮箱 xudong1597@foxmail.com请求获取