zoukankan      html  css  js  c++  java
  • Hadoop 集群搭建

    一、Hadoop 2.0

    Hadoop 2.0包含一个支持NameNode横向扩展的HDFS,一个资源管理系统 YARN 和一个运行在 YARN 上的离线计算框架MapReduce。相比于Hadoopl.0,Hadoop 2.0功能更加强大,且具有更好的扩展性、性能,并支持多种计算框架。

    1.集群简介

    ●HADOOP集群具体来说包含两个集群:

    HDFS集群
    YARN集群

    两者逻辑上分离,但物理上常在一起。

    ●HDFS集群负责海量数据的存储,集群中的角色主要有:

    NameNode、DataNode、SecondaryNameNode

    ●YARN集群负责海量数据运算时的资源调度,集群中的角色主要有:

    ResourceManager、NodeManager

    Mapreduce 是一个分布式运算编程框架,是应用程序开发包,由用户按照编程规范进行程序开发,后打包运行在HDFS集群上,并且受到YARN集群的资源调度管理。

    2.Hadoop 的部署方式

    Hadoop部署方式分三种, Standalone mode(独立模式).Pseudo-Distributedmode(伪分布式模式)、Clustermode(群集模式),其中前两种都是在单机部署。

    ●独立模式

    又称为单机模式,仅1个机器运行1个java进程,主要用于调试。

    ●伪分布模式

    也是在1个机器上运行HDFS的NameNode和DataNode、YARN 的 ResourceManger和NodeManager,但分别启动单独的java 进程,主要用于调试。

    ●集群模式

    主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下,主节点和从节点会分开部署在不同的机器上。

    二、伪分布式集群搭建

    HDFS配置文件可发送邮箱 xudong1597@foxmail.com请求获取

    三、eclipse 配置 MapReduce编程模型

    MapReduce配置文件可发送邮箱 xudong1597@foxmail.com请求获取

  • 相关阅读:
    mysql中的几种join 及 full join问题
    MySQL基础练习题
    SQL之IFNULL()
    SQL之查找表中字段的值相同的记录
    Mysql之将一张表内容导入另一张表中
    selenium无界面操作浏览器与Chrome Options的启动项设置
    SQL UNION 和 UNION ALL 操作符
    Python断言方法assert
    Python标准库--contextlib模块
    Python标准库--itertools模块
  • 原文地址:https://www.cnblogs.com/nnadd/p/12739382.html
Copyright © 2011-2022 走看看