zoukankan      html  css  js  c++  java
  • 基于磁盘存储

    基于内存存储性能好,但是成本较高。内存存储目前用的多的是redis,以及hash数据结构。最好根据业务需求,

    以及业务特性将一部分存储存储到磁盘。基于磁盘存储支持高并发写以及较高并发读的数据结构是LSM。

    基于磁盘存储相关文章,对于调研以及线上使用可以作为参考:

    kv存储Aerospike https://juejin.im/post/5b4eacb06fb9a04fde5ac05a

    有赞kv存储 https://tech.youzan.com/shi-yong-kai-yuan-ji-zhu-gou-jian-you-zan-fen-bu-shi-kvcun-chu-fu-wu/

                    https://juejin.im/post/5b7a5d4f6fb9a019fe6843a3

    基于Rocksdb分布式存储设计 http://www.doc88.com/p-3592525709078.html

    TiDB集群安装 https://blog.yeeef.com/post/deploy-tidb-cluster/

    TiDB部署https://segmentfault.com/a/1190000009716533

    Rocksdb存储原理 https://www.jianshu.com/p/73fa1d4e4273

    百度Tera https://www.infoq.cn/article/2017%2F05%2Fdatabase-baidu-Tera

                 https://www.cnblogs.com/bonelee/p/6211789.html

                 https://developer.baidu.com/announcement/566

         https://my.oschina.net/u/2982571/blog/775452  

                 http://www.yeolar.com/media/note/2016/12/04/bj2016-archsummit/%E5%A4%A7%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E5%8F%8A%E7%B3%BB%E7%BB%9F%E6%9E%B6%E6%9E%84/%E7%99%BE%E5%BA%A6%E7%AC%AC%E4%B8%89%E4%BB%A3%20Spider%20%E8%83%8C%E5%90%8E%E7%9A%84%E4%B8%87%E4%BA%BF%E9%87%8F%E7%BA%A7%E5%AE%9E%E6%97%B6%E6%95%B0%E6%8D%AE%E5%A4%84%E7%90%86%E7%B3%BB%E7%BB%9F.pdf

    分布式存储原理 http://wuchong.me/blog/2014/08/07/distributed-storage-system-knowledge/

                          https://yq.aliyun.com/articles/86633

    分布式系统事务处理 https://coolshell.cn/articles/10910.html

    rocksdb使用 https://tech.meili-inc.com/196-196

                      https://www.jianshu.com/p/f233528c8303

    存储调研     http://www.importnew.com/29110.html

    分布式事务  https://coolshell.cn/articles/10910.html 

    微信后台存储架构 http://www.docin.com/p-1167499844.html

    从无到有:微信后台系统的演进之路 涉及存储

                          https://www.infoq.cn/article/the-road-of-the-growth-weixin-background

    微信存储 http://www.dataguru.cn/article-11666-1.html

    今日头条涉及存储 https://www.toutiao.com/i6304145761982480897/

                             https://doc.huodongjia.com/detail-1950.html

            https://v.qq.com/x/page/e05142o902n.html

                            https://myslide.cn/slides/632

              https://blog.csdn.net/zkq_1986/article/details/79153376

    存储读取方式 https://www.cnblogs.com/bonelee/p/6900243.html

    pika存储团队成员博客 http://kernelmaker.github.io/

    pingcap团队博客  https://pingcap.com/blog-cn/

    pingcap好文档 https://www.liangzl.com/get-article-detail-3879.html

              

    Lucene索引存储 https://www.cnblogs.com/forfuture1978/archive/2009/12/14/1623597.html

    protocol buf压缩或者说序列化 https://blog.csdn.net/xiao__gui/article/details/36643949

    etcd原理 https://draveness.me/etcd-introduction 

    raft协议 https://www.jianshu.com/p/096ae57d1fe0

    gfs论文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-File-System%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf

    mapreduce论文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-MapReduce%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf

    bigtable 论文 http://blog.bizcloudsoft.com/wp-content/uploads/Google-Bigtable%E4%B8%AD%E6%96%87%E7%89%88_1.0.pdf 

    spanner论文 http://dblab.xmu.edu.cn/post/google-spanner/ 

    nosql数据库 http://dblab.xmu.edu.cn/topic/research/documentation/cloud-database/

    google spanner论文 https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/spanner-osdi2012.pdf 

    megastore解读 https://www.csdn.net/article/2011-02-16/291968

    一致性与共识不是一码事 http://blog.kongfy.com/2016/08/%E8%A2%AB%E8%AF%AF%E7%94%A8%E7%9A%84%E4%B8%80%E8%87%B4%E6%80%A7/ 

    何登成 http://hedengcheng.com/?p=892

    lmdb http://wiki.dreamrunner.org/public_html/C-C++/Library-Notes/LMDB.html

    rocksdb lmdb等 https://www.kancloud.cn/digest/jd-detail-page/61541

    树形存储 https://blog.csdn.net/hbhhww/article/details/8206846 

    蘑菇街内有推荐存储  https://www.jianshu.com/p/49ddf2f5c165   

    mmap 蘑菇街、今日头条、链家推荐系统 需要深入研究一下

    mmap优缺点 https://www.cnblogs.com/huxiao-tee/p/4660352.html#4008787

    存储核心引擎链接 https://yq.aliyun.com/articles/85619

    spanner https://www.jianshu.com/p/22a4dda19e86?from=timeline&isappinstalled=0

    本实验使用dd顺序写操作简单测试,严格测试需要用FIO等工具

    开源基于磁盘存储 aerospike ssdb pika ZanKV tikv tidb Bicast存储

    好书链接 https://github.com/lancetw/ebook-1/tree/master/01_programming 基础技术相关

    存储优秀博客 http://blog.sina.com.cn/s/articlelist_1070095910_0_2.html

    消息队列 https://juejin.im/post/5d9944e9f265da5b6a169271  数据从磁盘内核空间到socket内核空间,减少内核态到用户态的拷贝,这很牛逼

    浅谈0拷贝 https://juejin.im/post/5d69d4075188255d3d29abfd

    何登成 http://hedengcheng.com/?p=892

    其他  各大互联网后台架构

    微信公众号: 探索互联网

  • 相关阅读:
    Get-CrmSetting返回Unable to connect to the remote server的解决办法
    Dynamics 365中的常用Associate和Disassociate消息汇总
    Dynamics 365 Customer Engagement V9 活动源功能报错的解决方法
    Dynamics Customer Engagement V9版本配置面向Internet的部署时候下一步按钮不可点击的解决办法
    Dynamics 365检查工作流、SDK插件步骤是否选中运行成功后自动删除系统作业记录
    注意,更改团队所属业务部门用Update消息无效!
    Dynamics 365的审核日志分区删除超时报错怎么办?
    Dynamics 365使用Execute Multiple Request删除系统作业实体记录
    Dynamics 365的系统作业实体记录增长太快怎么回事?
    Dynamics CRM日期字段查询使用时分秒的方法
  • 原文地址:https://www.cnblogs.com/freedommovie/p/10113864.html
Copyright © 2011-2022 走看看