zoukankan      html  css  js  c++  java
  • 图片存储系统TFS

    1 TFS和GFS比较

    1.1 GFS的应用场景

    第一,百万级别的文件,并且是大文件,文件都是100MB以上,1G级别的文件很常见。

    第二,集群是建立在商业计算机之上,并不可靠,监控各个节点的状态,当一个节点坏掉了,可以里面恢复。因此需要一个master来管理着多个slave。

    1.2 TFS的应用场景

    第一,百亿级别的小文件,特别是图片文件,大小为18KB左右。

    第二,集群同样建立在商业计算机之上。

    2 数据的完整性

    第一,备份;

    第二,将数据划分为chunk和block,计算每个block的checksum;

    第三,checksum放在log中,log和数据分开存放;

    第四,传输数据前检查checksum,发现错误,删除错误数据,拷贝备份数据。

    3 TFS的扁平设计

    TFS丢掉目录结构,直接用文件名来解析出block id和file id,直接得到文件的物理地址,可以大大提高访问的速度。

    4 TFS践行了对象存储的思想

    5 微信朋友圈的存储系统也是这个思想,纯粹是key-value的形式

    因为微信朋友圈里面也有海量的图片和海量的文字,这些都是采取key-value的形式来存放的。

  • 相关阅读:
    wpf
    UseFul Collection
    关于一些程序中用到的新方法与拓展
    冒泡排序
    学习java的第三天,猜字符的小程序
    ThinkPHP中,运用PHPExcel,将数据库导出到Excel中
    关于maven下,lombok的安装
    关于windows下activeMQ的安装
    关于windows下redis的安装
    find 练习
  • 原文地址:https://www.cnblogs.com/hustdc/p/8047565.html
Copyright © 2011-2022 走看看