zoukankan      html  css  js  c++  java
  • 小文件、nginx、Redis、Moosefs

    现在有3KW的数据,单条数据都很小的,如果按key-value来看的话,key就是32位的MD5字符串,value按平均算大概是100字节左右。

    现在需要将这些数据做缓存以在高并非的时候依然可以快速响应。
    因为这些数据基本没有冷热数据之分,所以需要将全部数据都放到缓存中。

    1、直接生成静态文件,利用nginx对静态文件的高效做静态缓存。

      • 当时服务器硬件资源有限,所以就采用这种方式,一直源用至今。
      • 服务器间通过NFS来共享
      • 太多小文件,不方便管理
      • NFS不方便运维与扩展
      • 文件内容很小(100字节左右),3KW大概就是2.5G大小左右
        • 不过文件存储的时候和硬盘分区的族大小有关,在这里磁盘分区的族大小为8K,所以尽管文件内容只有100字节,但是实际存储到磁盘上的时候单个文件其实是8K
        • 所以3KW的文件世界占的磁盘空间大约为:200G左右(严重浪费空间啊

    2、Redis(V2.2.11)【KV数据库】

      • 听同事说开启VM会使性能急剧下降,所以基本无视VM,数据全放内存。
      • key为32位MD5字符串
      • 测试数据:10W数据大概占内存20M
      • 测试数据:500W数据大概占内存1G,持久化的rdb数据文件大概350M
      • 推算3KW数据:内存6G,持久化的rdb数据文件大概为2G(压缩了?)
      • 因为Redis在持久化的时候内存会加倍,和考虑到数据的增长,所以需要1台20G内存的机器基本就没问题了(容灾啥的另算)。
      • Redis非常快,如果硬件条件没问题,基本选这个最好了。

    3、Moosefs(MFS)【分布式文件存储系统】

      • mfs支持NFS的方式mount到本地直接操作(如使用mfs,则现在的架构基本不用改)
      • 最基本的需要一台主控服务器(Master Server)、一台数据服务器(Chunk Server)
      • 文件和目录的索引需要全部加载到主控服务器的内存中,所以对主控服务器的内存有一定的要求
      • 写入30W文件,到20W的时候写入就开始下降得厉害了(我的5400转的笔记本硬盘)
      • 30W文件,4W目录,主控服务器占用大概120M内存
      • 文件存储方式貌似和普遍的文件一样单个存储的(不确定),30W文件大概占了2.4G的磁盘空间(同样是8K一个文件)。
      • 小文件一样很多,不方便维护与迁移(不知是否我设置不对?)。
      • 内存、硬盘都占用得比较多,而且性能相对来说不是很出众。
      • 所以这个基本不考虑了。
    作者:QLeelulu Follow QLeelulu on Twitter
    出处:http://QLeelulu.cnblogs.com/
    本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利
  • 相关阅读:
    技术文章阅读-Pi-Hole < 4.3.2 Command Injection & PrivEsc (CVE-2019-13051)
    技术文章阅读-d-link-routers-found-vulnerable-rce
    技术文章阅读-蜂网互联企业级路由器v4.31密码泄露漏洞
    使用mkcert工具自签https证书
    查询给定时间是否在当前周
    nodeJS 一些笔记
    手机端页面布局方案
    关于HTML5的应用缓存功能
    将伪数组转换为数组的方法
    Cookies的使用之购物车的实现
  • 原文地址:https://www.cnblogs.com/QLeelulu/p/2105692.html
Copyright © 2011-2022 走看看