高性能分布式计算与存储系统设计概要
摘要: 高并发服务端分布式系统设计概要（下） 上篇 链接地址：http://www.cnblogs.com/ccdev/p/3338412.html 中篇 链接地址：http://www.cnblogs.com/ccdev/p/3340484.html 现在接着设计我们的“山推”系统。有了前面两篇的铺垫，我们的系统现在已经有了五脏六腑，剩下的工作就是要让其羽翼丰满。那么，是时候，放出我们的“山推”系统全貌了： 前面啰嗦了半天，也许不少同学看的不明不白，好了，现在开始看图说话环节： （1）整个系统由N台机器组合而成，其中Global Master一台，Global Slave一台到...阅读全文
摘要: 高并发服务端分布式系统设计概要（中） 上篇（链接）我们完成了在此分布式系统中，一个group的设计。那么接下来，我们设计系统的其他部分。如前文所述，我们的业务及其数据以group为单位，显然在此系统中将存在many many的groups（别告诉我你的网站总共有一个业务，像我们的“山推”，那业务是一堆一堆地），那么由谁来管理这些groups呢？由Web过来的请求，又将如何到达指定的group，并由该group处理它的请求呢？这就是我们要讨论的问题。 我们引入了一个新的角色——Global Master，顾名思义，它是管理全局的一个节点，它主要完成如下工作：（1）管理系统全局配置，发...阅读全文
摘要: 高并发服务端分布式系统设计概要（上） ======张峻崇 原创。转载请注明出处。====== 又是快一年没写博客了，2013年也只剩尾巴，也不知道今年都忙了些什么。写这篇文章的目的，主要是把今年以来学习的一些东西积淀下来，同时作为之前文章《高性能分布式计算与存储系统设计概要》的补充与提升，然而本人水平非常有限，回头看之前写的文章也有许多不足，甚至是错误，希望同学们看到了错误多多见谅，更欢迎与我讨论并指正。 我大概是从2010年底起开始进入高并发、高性能服务器和分布式这一块领域的研究，到现在也差不多有三年，但其实很多东西仍然是一知半解，我所提到的许许多多概念，也许任何一个我都不能...阅读全文
摘要: 高性能分布式计算与存储系统设计概要——暨2012年工作3年半总结（下） （上篇） 在上篇里，我们主要讨论了，这个系统怎样处理大数据的“读”操作，当然还有一些细节没有讲述。下篇，我们将主要讲述，“写”操作是如何被处理的。我们都知道，如果只有“读”，那几乎是不用做任何数据同步的，也不会有并发安全问题，之所以，会产生这样那样的问题，会导致缓存和数据库的数据不一致，其实根源就在于“写”操作的存在。下面，让我们看一看，当系统需要写一条数据的时候，又会发生怎样的事情？ 同样，我们还是以friend list为例。现在，我登陆了这个网站，获取了friend list之后，我添加了一个好友，...阅读全文
摘要: 高性能分布式计算与存储系统设计概要——暨2012年工作3年半总结（上） 2012年底，末日之后，看到大家都在写年末总结，我也忍不住想一试。工作已经3年半了，头一次写总结。虽然到现在仍是无名小码农一名，但工作这些年，技术着实有不少积累。成长最大的，当然就是这篇文章标题提到的——高性能分布式计算与存储系统的设计和研发过程，这也是我自2010年供职于国内最大的某著名网站之后，和这个系统一起成长，亲眼见证和伴随着它的发展，从一个婴儿一样的"Demo"程序，成长为现在可以处理千万级日PV的强大系统，直到2012年我离开。我也顺势积累了Unix/Linux服务器、多线程、I/O、海量数阅读全文