zoukankan      html  css  js  c++  java
  • Fastdfs

    摘要

    fastdfs 是以C语言开发的一项开源轻量级分布式文件系统,主要功能: 文件存储,文件同步,文件访问(文件上传/下载),特别适合以文件为载体的在线服务。

    • 分布式文件系统

    1). 基于客户端/服务器的文件存储系统
    2). 对等特性允许一些系统扮演客户端和服务器的双重角色,可供多个用户访问的服务器,比如,用户可以“发表”一个允许其他客户机访问的目录,一旦被访问,这个目录对客户机来说就像使用本地驱动器一样

    • FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成

    1). Tracker server 追踪服务器
    追踪服务器负责接收客户端的请求,选择合适的组合storage server ,tracker server 与 storage server之间也会用心跳机制来检测对方是否活着。
    Tracker需要管理的信息也都放在内存中,并且里面所有的Tracker都是对等的(每个节点地位相等),很容易扩展
    客户端访问集群的时候会随机分配一个Tracker来和客户端交互。
    2). Storage server 储存服务器
    实际存储数据,分成若干个组(group),实际traker就是管理的storage中的组,而组内机器中则存储数据,group可以隔离不同应用的数据,不同的应用的数据放在不同group里面,

    • 优点:

    海量的存储:主从型分布式存储,存储空间方便拓展,
    fastDFS对文件内容做hash处理,避免出现重复文件
    然后fastDFS结合Nginx集成, 提供网站效率

    • 客户段Client

    主要是上传下载数据的服务器,也就是我们自己的项目所部署在的服务器。每个客户端服务器都需要安装Nginx

    读写操作

    • 写入数据

    写操作的时候,storage会将他所挂载的所有数据存储目录的底下都创建2级子目录,每一级256个总共65536个,新写的文件会以hash的方式被路由到其中某个子目录下,然后将文件数据作为本地文件存储到该目录中。

    • 下载文件

    当客户端向Tracker发起下载请求时,并不会直接下载,而是先查询storage server(检测同步状态),返回storage server的ip和端口,
    然后客户端会带着文件信息(组名,路径,文件名),去访问相关的storage,然后下载文件。

    fastdfs 断点续传

    • fastdfs支持断点续传需要客户进行切片上传,并且切片字节大小小于等于storage配置的buff_size,默认是256k。当fastdfs storage接收客户端上传数据时,如果出现超时的情况会对文件offset和接收时记录的start、end进行比较,当offset>start 并且 offset < end时即写入文件的数据是应接收的一部分数据时,会truncate。所以当切片大小小于buff_size时,每次写入时如果发生异常,因未达到buff_size,所以服务端还未写入文件,不会产生truncate问题。注意发生异常,下次传输时,需根据fileid获取服务端的文件大小,然后对文件流进行skip之后,继续上传即可。
  • 相关阅读:
    (39)JS运动之缓冲运动
    学习hibernate笔记
    企业网络管理市场
    java实现第六届蓝桥杯打印大X
    java实现第六届蓝桥杯移动距离
    java实现第六届蓝桥杯加法变乘法
    java实现第六届蓝桥杯垒骰子
    java实现第六届蓝桥杯垒骰子
    java实现第六届蓝桥杯打印大X
    java实现第七届蓝桥杯取球博弈
  • 原文地址:https://www.cnblogs.com/xinzaiyuan/p/12144341.html
Copyright © 2011-2022 走看看