zoukankan      html  css  js  c++  java

  • Fastdfs文件系统扩容

    1.简介

        FastDFS文件服务器在设计时，为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。
       基于FastDFS文件服务器的特性，在做文件扩充容量时，可采取如下两种方案：
    1. 扩充group的存储空间，配置多个存储文件目录地址。
    2. 扩充存储节点，新加服务器配置多个storage。

    2.storage文件存储原理介绍

      在处理文件服务器扩充容量的时候，首先需要了解文件服务器存储的关键机制和一些重要参数。

    1. 一般设置一个storage属于一个分组group,一个分组group对应的数据存储目录地址可一个或多个。（这一点保证了group的文件地址容量扩展）
    2. 一个group的一个目录存储地址最多可存储的文件个数为：256*256*1000=65536000。storage文件存储机制中，有小文件合并存储到一个大文件的机制。
    3. 一个storage可以配置多个tracker地址，同理一个tracker可以分配文件存储到多个storage上面。（这一点保证了服务器storage容量扩展）
    4. 当一个storage中有多个文件目录地址时，通过tracker.conf中的关键参数store_path，可以配置一个文件在存储时，多个对应存储目录地址的存储机制，如轮询或选择剩余空间大的文件目录。
    5. 当一个tracker对应的存储storage具有多个时，通过tracker.conf中的store_lookup，store_server，可以配置当文件上传时，对应多个storage服务器的存储机制，如轮询或选择空间大的服务器。
    6. storage文件服务器默认存储空间配置时，当达到文件目录空间的10%时，便不可以在存储文件，可通过tracker.conf中的reserved_storage_space参数，修改默认值。
    7. 多个storage可以属于一个组或多个组，当两个或多个storage属于一个组时，各个storage中的文件相互备份。这种机制的优点是保证了文件服务器的备份和负载均衡，缺点是两个storage的存储容量是两个中较小storage的存储容量。

    2.基于group模式的文件存储扩容（添加磁盘）

         group模式扩容是通过给group的机器添加硬盘的方式，实现某个group的扩容。fastdfs在一台服务器支持多个store_path，每个store_path指向一个存储路径。如：url “M00/3F/E1/oYYBAFXfyuOABOf5AAAHoDwhqE0491.txt”中M00表示使用store_path0，如果没有配置store_path，就使用base_path的路径。添加了硬盘后，通过把新的store_path指向新硬盘的挂载点，再修改配置文件，就能实现group的扩容。扩容后的地址如：url “M01/3F/E3/oYYBAFXfyuOABOf5AAAHoDwhqE0591.txt”中M01表示使用store_path1。group模式扩容主要步骤如下：

    • 1.停止现有的tracker服务，storage服务，操作指令如：/etc/init.d/fdfs_trackerd stop ,/etc/init.d/fdfs_storaged stop ；
    • 2.修改/etc/fdfs/storage.conf配置文件，修改字段store_path_count,新增store_path1文件存储路径，新建store_path1的文件目录；

                  

    •  3.修改/etc/fdfs/storage.conf/mod_fastdfs.conf配置文件，修改字段store_path_count,新增store_path1文件存储路径，设置group1的配置信息；

               

    • 4.修改/application/nginx/conf/nginx.conf配置文件，增加store_path1的访问代理；

              

    • 5.重新启动tracker,storage,nginx服务，通过命令 /usr/bin/fdfs_monitor /etc/fdfs/storage.conf（ /usr/bin/fdfs_monitor为f调用astdfs的命令，根据安装目录而定）可查看文件服务器的运行状态和配置信息。

             

          结果展示：调用文件clent.conf配置文件，通过文件上传命令上传文件，查看文件的存储地址信息如下：

           

    3.添加group的文件存储扩容

       storage扩容主要是通过新增服务器的模式，在一台电脑上安装多个storage的模式不推荐。新增一台服务器的目的是为了扩容，便不能让新加的storage与原来存在的storage属于同一个组，设置为同一个组并不能扩容，只是备份的效果。已有文件系统信息为：

       单节点文件服务器：ip:10.63.0.155  部署tracer,storage,nginx服务；

       扩容信息为：在服务器10.63.0.154上面新建storage存储文件。具体操作步骤如下：

    •    1.在新的服务器上，安装单节点文件服务器，具体安装教程参考：FastDFS教程Ⅰ-文件服务器安装与Nginx配置
    •    2.安装好文件服务器，nginx等相关软件后，设置配置文件storage.conf的tracker地址为10.63.0.155上面的tracker地址；
    •    3.配置storage.conf，mod_fastdfs.conf文件中的group名字，如已经存在的storage属于group2,新加的设置为group1;
    •    4.修改已经存在的tracker服务器配置信息，修改文件有mod_fastdfs.conf，nginx.conf,storage_ids.conf文件；
    •    5.在做扩容时，新的storage配置的存储路径，若在老的tracker服务器上面，没有对应的文件路径地址，在启动tracer服务时，会有启动报文件找不到路径的错误情况，针对这样的问题，在tracker所在服务器上面，配置建立一套这样的文件路径就可以了。这个文件实际并没有存储信息。如：新路径为/data/storage/testtwo，启动tracker报/data/storage/testtwo找不到文件路径，在tracker服务器上面配置这个地址就可以了。
    •  
    • 5.重新启动tracker,storage,nginx服务，通过命令 /usr/bin/fdfs_monitor /etc/fdfs/storage.conf（ /usr/bin/fdfs_monitor为f调用astdfs的命令，根据安装目录而定）可查看文件服务器的运行状态和配置信息。  

     结果展示：调用文件clent.conf配置文件，通过文件上传命令上传文件，查看文件的存储地址信息如下：

              

    4.fastDFS文件系统扩容方案总结

        通过上述两种方式均可以达到文件扩容的目的，对于在服务器上面添加硬盘的模式，建议采用方案1，直接在group新加文件存储地址；在具有新的服务器时，可采用方案2处理。在服务器和硬盘信息都有的情况下，可同时采用这两种模式扩充容量。

    添加group:

    1. 修改storaged.conf配置文件

    2. 修改nginx_http_module模块配置文件

    在所有storage机器上，修改/etc/fdfs/mod_fastdfs.conf

    group_name=group1/group2/group3  # 所有组名
group_count = 3  # 组的总数

# 把所有组和目录都添加上
[group1]
group_name=group1
storage_server_port=23000
store_path_count=3
store_path0=/var/local/fdfs/data/group1/M00
store_path1=/var/local/fdfs/data/group1/M01
store_path2=/var/local/fdfs/data/group1/M02

# group settings for group #2
# since v1.14
# when support multi-group, uncomment following section as neccessary
[group2]
group_name=group2
storage_server_port=23000
store_path_count=3
store_path0=/var/local/fdfs/data/group2/M00
store_path1=/var/local/fdfs/data/group2/M01
store_path2=/var/local/fdfs/data/group2/M02

[group3]
group_name=group3
storage_server_port=23000
store_path_count=3
store_path0=/var/local/fdfs/data/group3/M00
store_path1=/var/local/fdfs/data/group3/M01
store_path2=/var/local/fdfs/data/group3/M02

    分布式文件系统FastDFS动态扩容

    https://www.cnblogs.com/zhangs1986/p/8329555.html

    当用户量越来越大，则集群中某个group总会到达其极限，这时就得扩展集群的容量了。

    FastDFS的扩容分为对group纵向扩容和横向扩容

    　　纵向扩容 指在同一个group组中增加服务器，实现数据冗余，数据备份。同一个group中最大容量取决于最小的storage的存储容量。因此如果还想继续使用此group，则需要对此group对应的所有服务器挂载同样容量的磁盘，指定store_path1……，但这样做的话成本相当的高，不推荐。

    　　横向扩容是通过集群实现，指新增一个group，增加整个FastDFS的存储空间。fastDFS的存储空间指的是所有group加起来的存储容量。

    下面就横向扩容来做介绍

    　　在 高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备 中已经讲了如何配置集群的2个tracker和4个storage，分group1和group2，下面增加一组group3，也由2台服务器组成 group3：36、37。

    安装storage

    　　按照 高可用高性能分布式文件系统FastDFS进阶keepalived+nginx对多tracker进行高可用热备 分别布署storage存储节点。

    　　安装 nginx和fastdfs-nginx-module 到 storage存储节36、37。

    　　将/etc/fdfs/storage.conf里面的 group_name=group3 其它内容与其它storage存储节一样。

    然后开启这两个storage，并加入开机启动：

    /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
    chkconfig fdfs_storaged on

    查看集群状态，会显示整体内容：

    /usr/bin/fdfs_monitor /etc/fdfs/storage.conf

    安装配置nginx

    /opt/nginx/conf/nginx.conf 文件内容与其它结点一样。

    但修改/etc/fdfs/mod_fastdfs.conf

    复制代码
    base_path=/data/fastdfs/storage
tracker_server=192.168.80.30:22122
tracker_server=192.168.80.31:22122
storage_server_port=23000
group_name=group3 # 第一组storage的组名
url_have_group_name=true
store_path0=/data/fastdfs/storage
group_count=2
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
[group3]
group_name=group3
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
    复制代码

    注意：

    将存储结点32到37的/etc/fdfs/mod_fastdfs.conf里面都加上

    [group3]
group_name=group3
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage

    启动Nginx，并加和自启动

    shell> /opt/nginx/sbin/nginx

    上传测试文件到group3上。

    浏览器访问测试时上传的文件，应该都能正常访问。
    http://192.168.80.36:8888/group3/M00/00/00/CgNXGVpddOKANpzbAABdrZgsqUU369_big.jpg
    http://192.168.80.37:8888/group3/M00/00/00/CgNXGVpddOKANpzbAABdrZgsqUU369_big.jpg

    配置Nginx，设置tracker负载均衡以及缓存

    vi /opt/nginx/conf/nginx.conf

    添加以下内容

    #设置 group3 的服务器
upstream fdfs_group3 {
server 192.168.80.36:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.80.37:8888 weight=1 max_fails=2 fail_timeout=30s;
}
    和
    复制代码
            location /group3/M00 {
            proxy_next_upstream http_502 http_504 error timeout invalid_header; proxy_cache http-cache;
            proxy_cache_valid 200 304 12h;
            proxy_cache_key $uri$is_args$args;
            proxy_pass http://fdfs_group3;
            expires 30d;
        }
    复制代码

    再重启nginx就行了。

    　　从上面来看，给集群增加group，storage的安装配置很简单，主要是 nginx和fastdfs-nginx-module的配置比较麻烦，需要手动添加组，因此要注意以上要注意的地方不要漏掉了
  • 相关阅读:
    QQ 表情大全
    Linux/Unix同Windows文件传输
    CentOS 5.2安装Oracle 10g
    用户名、密码测试用例
    界面测试用例
    PLSQL导入导出数据库
    JavaScript代码格式规范和注意事项
    Node.js 之发送文件数据编码问题
    Node.js 之IP地址和端口号
    Node.js 之ContentType内容类型
  • 原文地址：https://www.cnblogs.com/yipianchuyun/p/10804470.html
Copyright © 2011-2022 走看看