zoukankan      html  css  js  c++  java
  • Hadoop 集群搭建

    一、Hadoop 2.0

    Hadoop 2.0包含一个支持NameNode横向扩展的HDFS,一个资源管理系统 YARN 和一个运行在 YARN 上的离线计算框架MapReduce。相比于Hadoopl.0,Hadoop 2.0功能更加强大,且具有更好的扩展性、性能,并支持多种计算框架。

    1.集群简介

    ●HADOOP集群具体来说包含两个集群:

    HDFS集群
    YARN集群

    两者逻辑上分离,但物理上常在一起。

    ●HDFS集群负责海量数据的存储,集群中的角色主要有:

    NameNode、DataNode、SecondaryNameNode

    ●YARN集群负责海量数据运算时的资源调度,集群中的角色主要有:

    ResourceManager、NodeManager

    Mapreduce 是一个分布式运算编程框架,是应用程序开发包,由用户按照编程规范进行程序开发,后打包运行在HDFS集群上,并且受到YARN集群的资源调度管理。

    2.Hadoop 的部署方式

    Hadoop部署方式分三种, Standalone mode(独立模式).Pseudo-Distributedmode(伪分布式模式)、Clustermode(群集模式),其中前两种都是在单机部署。

    ●独立模式

    又称为单机模式,仅1个机器运行1个java进程,主要用于调试。

    ●伪分布模式

    也是在1个机器上运行HDFS的NameNode和DataNode、YARN 的 ResourceManger和NodeManager,但分别启动单独的java 进程,主要用于调试。

    ●集群模式

    主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下,主节点和从节点会分开部署在不同的机器上。

    二、伪分布式集群搭建

    HDFS配置文件可发送邮箱 xudong1597@foxmail.com请求获取

    三、eclipse 配置 MapReduce编程模型

    MapReduce配置文件可发送邮箱 xudong1597@foxmail.com请求获取

  • 相关阅读:
    (转载) 天梯赛 L2-018. 多项式A除以B
    天梯赛 L2-007. (并查集) 家庭房产
    天梯赛 L2-013. (并查集) 红色警报
    天梯赛 L2-002. (模拟) 链表去重
    28. Implement strStr() (C++)
    27. Remove Element(C++)
    26. Remove Duplicates from Sorted Array(C++)
    19. Remove Nth Node From End of List(C++)
    21. Merge Two Sorted Lists(C++)
    20. Valid Parentheses(C++)
  • 原文地址:https://www.cnblogs.com/nnadd/p/12739382.html
Copyright © 2011-2022 走看看