zoukankan      html  css  js  c++  java
  • GlusterFS 分布式文件系统

    简介

    官方文档https://docs.gluster.org/en/latest/Quick-Start-Guide/Architecture/

    Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端。是整合了许多存储块(server)通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统。

      特征:

    • 容量可以按比例的扩展,且性能却不会因此而降低。
    • 廉价且使用简单,完全抽象在已有的文件系统之上。
    • 扩展和容错设计的比较合理,复杂度较低
    • 适应性强,部署方便,对环境依赖低,使用,调试和维护便利

    glusterfs安装部署

      一般在企业中,采用的是分布式复制卷,因为有数据备份,数据相对安全。

      网络要求全部千兆环境,gluster 服务器至少有 2 块网卡,1 块网卡绑定供 gluster 使用,剩余一块分配管理网络 IP,用于系统管理。如果有条件购买万兆交换机,服务器配置万兆网卡,存储性能会更好。网络方面如果安全性要求较高,可以多网卡绑定。

     跨地区机房配置 Gluster,在中国网络格局下不适用。

    • 注意:GlusterFS将其动态生成的配置文件存储在/var/lib/glusterd中。如果在任何时候GlusterFS无法写入这些文件(例如,当后备文件系统已满),它至少会导致您的系统不稳定的行为; 或者更糟糕的是,让您的系统完全脱机。建议为/var/log等目录创建单独的分区,以确保不会发生这种情况。

    GlusterFS创建术语

    • Brick: 最基本的存储单元,表示为trusted storage pool中输出的目录,供客户端挂载用。
    • Volume: 一个卷。在逻辑上由N个bricks组成.
    • FUSE: Unix-like OS上的可动态加载的模块,允许用户不用修改内核即可创建自己的文件系统。
    • Glusterd: Gluster management daemon,要在trusted storage pool中所有的服务器上运行。
    • POSIX: 一个标准,GlusterFS兼容。

    基本卷介绍

    分布式卷(类似raid 0但是数据不分片)默认

    基于Hash算法将文件分布到所有的brick server上,只是单纯的扩大了磁盘空间,不具备冗余能力,数据丢了就丢了,由于distribute volume使用本地文件系统,因此存取效率并没有提高,相反会应为中间又加上了一层网络传输,效率反而降低了.另外本地存储设备的容量有限制,因此支持超大型文件会有一定的难度

     分布式卷部署地址:https://www.cnblogs.com/Mercury-linux/p/12052908.html

    条带卷(类似raid 0)

    类似Raid 0,文件分成数据块以Round Robin(循环)方式分布到brick server上,并发粒度是数据块,支持超大文件,大文件的读写性能高(因为他是分块存储,可以同时多个磁盘写入)

    复制卷(类似Raid 1)

    类似于Raid1,文件同步的复制到多个brick上,具有容错能力,写性能下降,读性能提升(待测),Replicated模式,也称作AFR(Auto File Replicated),同一个文件在多个镜像存储节点上保存多份,每个节点上都具有想用的目录结构和文件.replica volume是容器存储中较为推崇的一种

    分部署条带卷

    先组成条带式在组成分布式,集群节点最少4个节点,Brick server 数量是条带数的倍数,分布式的条带卷,volume和brick所包含的存储服务器必须是stripe的倍数,同时拥有分布式和条带式的功能.文件分布在四台文件存储服务器上, 创建卷的时候相邻的两个会组成条带,然后在组成分布式

    分布式复制卷

    Brick server是镜像数的倍数,先组合分布式在组合成复制卷,也是最少需要4台服务器,这个多少组成分布和多少个副本数是自己创建的时候定义的,官网有介绍

    条带复制卷

    先组合成条带式在组合成复制卷,先把数据分块存放,然后在完整复制,类似 RAID 10,同时具有条带卷和复制卷的特点

    分布式条带复制卷

    三种基础卷的合体

    参考: 

    https://blog.51cto.com/13447608/2386830?source=dra

    https://baijiahao.baidu.com/s?id=1612194635156434300&wfr=spider&for=pc

    TFS:https://yq.aliyun.com/articles/224295

  • 相关阅读:
    BZOJ5212 ZJOI2018历史(LCT)
    BZOJ5127 数据校验
    253. Meeting Rooms II
    311. Sparse Matrix Multiplication
    254. Factor Combinations
    250. Count Univalue Subtrees
    259. 3Sum Smaller
    156. Binary Tree Upside Down
    360. Sort Transformed Array
    348. Design Tic-Tac-Toe
  • 原文地址:https://www.cnblogs.com/Mercury-linux/p/12050389.html
Copyright © 2011-2022 走看看