zoukankan      html  css  js  c++  java
  • HDFS优缺点

    HDFS解决大数据存储的问题

    HDFS优点

    • 高容错性

        数据自动保存多个副本

        副本丢失后自动恢复

    • 适合批处理

        移动计算而非数据

        数据位置暴露给计算框架

    • 适合大数据处理

        GB、TB、甚至PB级数据

        百万规模以上的文件数据量

        10K+结点

    • 可构建在廉价机器上(为啥-->因为有高容错性,即使机器挂了数据也不会丢)

        通过多副本提高可靠性

        提供了容错和恢复机制

    HDFS缺点

    • 低延迟数据访问(读一些小文件的时候,寻址时间可能会比读数据还长)

     

    • 小文件存储(想办法转成大文件)

        占用namenode大量内存(元数据信息)

        寻道时间超过读取时间

    • 并发写入、文件随机修改

        一个文件只能有一个写者

        不支持内容修改,虽然2.0仅支持append,但一般生产环境不会开放(涉及到副本的修改,涉及文件大小改变切分)

  • 相关阅读:
    HDU 1195.Open the Lock
    HDU 2612.Find a way
    HDU 1240.Asteroids!
    HDU 1429.胜利大逃亡(续)
    HDU 1253.胜利大逃亡
    HDU 2102.A计划
    HDU 2579.Dating with girls(2)
    HDU 1782.逃离迷宫
    洛谷1297[国家集训队]单选错位
    spoj1026Favorite Dice
  • 原文地址:https://www.cnblogs.com/maikerniuniu/p/7487435.html
Copyright © 2011-2022 走看看