zoukankan      html  css  js  c++  java
  • Hadoop 3.0.0-alpha1几个值得关注的特性

    1、支持纠删码:意味着更灵活的存储策略,即经常使用的数据利用备份方式存储(3倍存储消耗),冷数据利用纠删码容错(1.4倍存储消耗,但会造成额外的IO及CPU消耗);

    2、MapReduce任务支持本地map output collector:对于shuffle密集型的任务可以提升30%速度;

    3、支持两个以上的NameNode:适用于容错性高的场景;

    4、支持DataNode内部balancer:原来的balancer只能做到DataNode间的负载均衡,新加的balancer可以实现DataNode中各个磁盘间的均衡;

    5、自动的堆内存管理:任务的堆内存大小不再依赖于固定配置,而是改为max和min区间自动调节,以达到更高的内存使用效率。

     参考: http://hadoop.apache.org/docs/current

  • 相关阅读:
    Python内存管理机制
    哈希表(散列表)
    Python面向对象三大特性
    Python 面向对象继承
    Python面向对象 类的空间问题
    面向对象初识
    增量式爬虫
    分布式爬虫
    crawlscrapy框架
    HTML
  • 原文地址:https://www.cnblogs.com/rouge/p/5994032.html
Copyright © 2011-2022 走看看