zoukankan      html  css  js  c++  java
  • Why Hadoop2


    自从Hadoop2出现之后,其迅速代替了Hadoop1的地位,并丰富了Hadoop的应用场景。假设如今有公司使用Hadoop的话,往往直接採用Hadoop2了。

    Hadoop2能被如此广泛的使用,肯定有其自身的优势,本文将对其进行梳理


    支持很多其它的计算框架

    Hadoop1採用的计算框架是MapReduce,MapReduce是批处理计算框架,适合做海量数据的离线处理。为了让Hadoop能支持到很多其它的应用场合,很多其它的计算框架,YARN应运而生,它极大的拓展了Hadoop的使用场合。

    採用YARN框架后,会带来另外一个优点。为了让集群能满足企业的需求,企业往往将不同的计算框架部署到不同的集群上,在採用YARN后,企业能够将这些计算框架部署在一个集群上,极大的提升了集群的利用率,而且降低了运维成本




    集群拓展性更强

    Hadoop1仅仅能支持数千台计算机的容量,这是由于NameNode和JobTracker的内存容量有限导致的。在HDFS2採用Federation,Hadoop将jobtracker的逻辑拆分后,Hadoop集群的拓展性得到了质的提升。



    集群资源利用率更高

    以下两张图是twitter分别採用Hadoop1和Hadoop2时,集群资源利用率的对照




    HDFS和RM单点故障的解决

    在Hadoop1上,HDFS和JobTracker是存在单点故障的,主节点崩溃后,集群也随之崩溃,而在Hadoop2上,当採用HA机制后,单点故障攻克了。






  • 相关阅读:
    用Java实现四则运算
    敏捷开发角色分配
    需求分析之WBS
    需求分析之NABCD
    电梯演说
    开发流程的选择
    软件团队模式的选择
    维护日程管理项目
    日程管理系统中找错误
    Android的测试
  • 原文地址:https://www.cnblogs.com/hrhguanli/p/3859109.html
Copyright © 2011-2022 走看看