zoukankan      html  css  js  c++  java
  • GlusterFS 分布式文件系统

    简介

    官方文档https://docs.gluster.org/en/latest/Quick-Start-Guide/Architecture/

    Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端。是整合了许多存储块(server)通过Infiniband RDMA或者 Tcp/Ip方式互联的一个并行的网络文件系统。

      特征:

    • 容量可以按比例的扩展,且性能却不会因此而降低。
    • 廉价且使用简单,完全抽象在已有的文件系统之上。
    • 扩展和容错设计的比较合理,复杂度较低
    • 适应性强,部署方便,对环境依赖低,使用,调试和维护便利

    glusterfs安装部署

      一般在企业中,采用的是分布式复制卷,因为有数据备份,数据相对安全。

      网络要求全部千兆环境,gluster 服务器至少有 2 块网卡,1 块网卡绑定供 gluster 使用,剩余一块分配管理网络 IP,用于系统管理。如果有条件购买万兆交换机,服务器配置万兆网卡,存储性能会更好。网络方面如果安全性要求较高,可以多网卡绑定。

     跨地区机房配置 Gluster,在中国网络格局下不适用。

    • 注意:GlusterFS将其动态生成的配置文件存储在/var/lib/glusterd中。如果在任何时候GlusterFS无法写入这些文件(例如,当后备文件系统已满),它至少会导致您的系统不稳定的行为; 或者更糟糕的是,让您的系统完全脱机。建议为/var/log等目录创建单独的分区,以确保不会发生这种情况。

    GlusterFS创建术语

    • Brick: 最基本的存储单元,表示为trusted storage pool中输出的目录,供客户端挂载用。
    • Volume: 一个卷。在逻辑上由N个bricks组成.
    • FUSE: Unix-like OS上的可动态加载的模块,允许用户不用修改内核即可创建自己的文件系统。
    • Glusterd: Gluster management daemon,要在trusted storage pool中所有的服务器上运行。
    • POSIX: 一个标准,GlusterFS兼容。

    基本卷介绍

    分布式卷(类似raid 0但是数据不分片)默认

    基于Hash算法将文件分布到所有的brick server上,只是单纯的扩大了磁盘空间,不具备冗余能力,数据丢了就丢了,由于distribute volume使用本地文件系统,因此存取效率并没有提高,相反会应为中间又加上了一层网络传输,效率反而降低了.另外本地存储设备的容量有限制,因此支持超大型文件会有一定的难度

     分布式卷部署地址:https://www.cnblogs.com/Mercury-linux/p/12052908.html

    条带卷(类似raid 0)

    类似Raid 0,文件分成数据块以Round Robin(循环)方式分布到brick server上,并发粒度是数据块,支持超大文件,大文件的读写性能高(因为他是分块存储,可以同时多个磁盘写入)

    复制卷(类似Raid 1)

    类似于Raid1,文件同步的复制到多个brick上,具有容错能力,写性能下降,读性能提升(待测),Replicated模式,也称作AFR(Auto File Replicated),同一个文件在多个镜像存储节点上保存多份,每个节点上都具有想用的目录结构和文件.replica volume是容器存储中较为推崇的一种

    分部署条带卷

    先组成条带式在组成分布式,集群节点最少4个节点,Brick server 数量是条带数的倍数,分布式的条带卷,volume和brick所包含的存储服务器必须是stripe的倍数,同时拥有分布式和条带式的功能.文件分布在四台文件存储服务器上, 创建卷的时候相邻的两个会组成条带,然后在组成分布式

    分布式复制卷

    Brick server是镜像数的倍数,先组合分布式在组合成复制卷,也是最少需要4台服务器,这个多少组成分布和多少个副本数是自己创建的时候定义的,官网有介绍

    条带复制卷

    先组合成条带式在组合成复制卷,先把数据分块存放,然后在完整复制,类似 RAID 10,同时具有条带卷和复制卷的特点

    分布式条带复制卷

    三种基础卷的合体

    参考: 

    https://blog.51cto.com/13447608/2386830?source=dra

    https://baijiahao.baidu.com/s?id=1612194635156434300&wfr=spider&for=pc

    TFS:https://yq.aliyun.com/articles/224295

  • 相关阅读:
    系统相对路径和绝对路径
    delphi TreeView 鼠标右击选择节点
    treeview得到鼠标右键点击的节点
    TREEVIEW右键菜单示例
    ORACLE
    监视oracle执行的SQL语句
    oracle数据库跟踪工具
    PL/SQL plsql Developer 14最新版注册码 (亲测可用)
    一个框架看懂优化算法之异同 SGD/AdaGrad/Adam
    Node.jsp配环境更新中)
  • 原文地址:https://www.cnblogs.com/Mercury-linux/p/12050389.html
Copyright © 2011-2022 走看看