zoukankan      html  css  js  c++  java
  • Hadoop2.0产生背景

    Hadoop与Hadoop生态系统的区别

    Hadoop:是一个适合大数据分布式存储分布式计算平台,在Hadoop1.x中对应于HDFS和MapReduce;

    Hadoop生态系统:是一个很庞大的概念,Hadoop是其中最重要最基础的一个部分;生态系统中的每个子系统只负责解决某一个特定的问题域(甚至可能更窄),不是一个全能系统而是小而精的多个小系统;

    Hadoop1.x中存在的问题

    Hadoop1.x中HDFS和MapReduce在高可用、扩展性等方面均存在不同程度上的问题:

    HDFS存在的问题:

      1、NameNode存在单点故障,影响生产环境真正使用;

      2、NameNode压力大,且内存受限,影响系统扩展性;

        压力大:因为只有一个NameNode,所有的请求都要经过它;

        内存受限:因为只有一个NameNode,所有元数据信息都要保存在NameNode上;

    MapReduce存在的问题:

      1、JobTracker单点故障

      2、JobTracker访问压力大,影响系统扩展性;

      3、难以支持除MapReduce之外的计算框架(如:Spark、Storm等);

    基于Hadoop1.x中存在的如上问题,催生了Hadoop2的产生;

  • 相关阅读:
    几种比较好看的颜色代码
    浅谈Express的put与del
    关于Linux软连接
    logstash根据日志关键词报警
    linux历史命令审计
    showdoc升级问题,showdoc错误日志
    以Docker容器的形式运行GVM-11
    主机标准化配置文档
    网络设备标准化配置文档
    Zabbix日常监控之lvs监控
  • 原文地址:https://www.cnblogs.com/luogankun/p/3886965.html
Copyright © 2011-2022 走看看