网站架构资料集（转）

add by zhj：很多文章是转自www.itivy.com，很可惜，这个网站已经无法访问，不过，你可以用Google搜索一下这些文章，另外

各大网站架构总结笔记 也能看到部分转载的原文。

原文：http://www.diguage.com/archives/41.html

扯扯蛋

以前见过零零散散地介绍一些知名网站架构的分析文章。最近D瓜哥也想研究一下各大知名网站的架构。所以，就搜集了一下这方面资料。限于时间问题，这篇文章分享的文章并没有都看完，所以不保证所有文章的质量。另外，如果有朋友发现更好的文章，欢迎留言告知。再补充进来。

知名网站架构分析

1. 探索Google App Engine背后的奥秘(1)–Google的核心技术
2. 探索Google App Engine背后的奥秘(2)–Google的整体架构猜想
3. 探索Google App Engine背后的奥秘(3)- Google App Engine的简介
4. 探索Google App Engine背后的奥秘(4)- Google App Engine的架构
5. 探索Google App Engine背后的奥秘(5)- Datastore的设计
6. 探索Google App Engine背后的奥秘(6)- 总结
7. Amazon网站架构学习总结
8. Amazon网站架构学习总结
9. Amazon 的 Dynamo 架构
10. eBay 的应用服务器规模
11. eBay 的数据量
12. 来自淘宝的架构经验
13. Yahoo！社区架构
14. 基于Facebook和Flash平台的应用架构解析（一）
15. 基于Facebook和Flash平台的应用架构解析（二）
16. 基于Facebook和Flash平台的应用架构解析（三）
17. Facebook图片存储架构的学习
18. facebook图片存储架构技术全解析
19. Facebook数据仓库揭秘：RCFile高效存储结构
20. Facebook 架构学习
21. Facebook 架构学习
22. 人人网移动开发架构
23. QQ空间技术架构之深刻揭密
24. Twitter 的架构扩展: 100 倍性能提升
25. Twitter网站架构学习笔记
26. 国内外大型SNS网站后台架构对比
27. 优酷网架构学习笔记
28. 优酷网(Youku.com)架构经验
29. YouTube架构学习体会
30. YouTube 的架构扩展
31. Digg网站架构
32. Digg 网站架构
33. WikiPedia技术架构学习笔记
34. Yupoo网站架构学习总结
35. Flickr 网站架构分析
36. 学习 Flickr 的 基于 LAMP 的容量规划经验
37. MySpace 系统架构
38. 回顾MySpace架构的坎坷之路
39. 挑战空中加油——1号店B2C电商系统演进之路
40. PlentyOfFish.com .NET网站的又一传奇
41. 学习豆瓣好榜样–网站架构
42. 37Signals 架构
43. Tailrank 网站架构
44. SmugMug 的架构介绍
45. 高并发PHP网站Poppen.de架构学习
46. Drupal与大型网站架构
47. 手机之家网站架构–对话高春辉
48. 手机之家的网站架构设计和演化
49. 学习 HeroKu 的架构设计
50. 各大网站架构总结笔记
51. 花瓣网的架构介绍
52. 大型网站架构技术专家谈

架构分析与设计

1. 架构之美–开放环境下的网络架构
2. 案例分析：基于消息的分布式架构
3. 基于模式的架构评审
4. 为不规则应用设计新一代超大型多线程架构
5. 从简单到复杂：大型Rails与VoIP系统架构与部署实践
6. 专家视角看IT与架构
7. 架构腐化之谜
8. 我眼中的云端架构
9. 从100PV到1亿级PV网站架构演变
10. 网站架构设计方案
11. 浅谈大型网站动态应用系统架构——鉴于某度有胡乱改系统，而且不自动保留原来数据的恶习，建议大家手动备份下来。
12. 做大的艺术 – 大型网站的架构设计
13. 平台网站架构设计之我所见
14. 屌丝程序员如何打造日PV百万的网站架构
15. 设计 REST 风格的 MVC 框架
16. 集群架构实践 – 初试Memcached
17. BigPipe，加速你的页面加载
18. 一步步构建大型网站架构
19. 图片存储架构学习：缓存，架构师的美丽小三
20. 要快速伸缩？重新架构吧！
21. 大型Rails与VoIP系统架构与部署实践
22. LAMP网站架构方案分析
23. 大型网站架构演变和知识体系
24. 网站架构相关PPT、文章整理
25. 说说大型高并发高负载网站的系统架构
26. 软件架构设计思考之一
27. 视频流服务架构解析
28. Rails架构简介
29. 自建CDN防御DDoS（1）：知己知彼，建设持久防线
30. 自建CDN防御DDoS（2）：架构设计、成本与部署细节
31. 自建CDN防御DDoS（3）：架构的后续改进
32. 系统技术非业余研究-资料下载
33. 中小型应用系统知识体系
34. 中小型应用系统架构体系
35. 《架构师》月刊——InfoQ推出来的电子杂志。貌似还不错。
36. 系统设计说明书(架构、概要、详细)目录结构——D瓜哥不太擅长写文档，所以插播个文档模板。

架构背后的技术

1. CDN（内容分发网络）技术原理
2. 高性能网站的十四条黄金法则
3. 大型网站后台架构的web server与缓存
4. Facebook性能大提升的秘密：HipHop
5. 浅谈Squid在图片存储架构中的应用
6. 揭秘淘宝自主研发的文件系统——TFS
7. 百万级访问量网站的技术准备工作
8. 谈谈大型网站的负载均衡器、db proxy和db
9. 深入浅出node.js游戏服务器开发——Pomelo框架的设计动机与架构介绍
10. 架构师不可不知的十大可扩展架构
11. Memcached FAQ(1) 一般性的问题
12. Memcached FAQ(2) 集群架构方面的问题
13. Memcached FAQ(3) 性能和客户端库方面的问题
14. Memcached FAQ(4) 选项、Item过期和命名空间方面的问题
15. 分享一些资料（侧重Linux）
16. 用JavaScript阐述MapReduce原理
17. 分享一些D瓜哥攒的比较好的Web开发资料

数据库架构

1. 大型高并发高负载web应用系统架构-数据库架构策略
2. 又拍网架构中的分库设计
3. Datomic的架构
4. 低成本和高性能MySQL云数据的架构探索

插件架构

1. 关于Plugin Framework的关键因素
2. Plugin Architecture简述
3. Eclipse(3.1) Plugin Framework(基于OSGI的Plugin Architecture)
4. OSGI与Plugin Architecture
5. 思考插件架构体系
6. 基于Equinox开发系统的总结
7. Declarative Services――Service-Oriented Component Model
8. Service-Oriented Component Model(SOCM)
9. 插件开发框架的思考
10. 基于Eclipse Equinox的插件框架：TPF

问题

1. WordPress的插件架构是怎么样的？

权限架构

1. 漫谈权限系统 I
2. 漫谈权限系统系列之概述、目的和需求
3. 漫谈权限系统之技术策略以及基于RBAC的实现
4. 漫谈权限系统之基于ACL的实现
5. 漫谈权限系统之结尾篇(开源产品、个人观点、知识体系)

转自：http://www.diguage.com/archives/41.html

网络架构师：各大型网站架构分析收集 及大型高负载网站架构的感

想

1. PlentyOfFish 网站架构学习
http://www.dbanotes.net/arch/plentyoffish_arch.html
采取
Windows 技术路线的 Web 2.0 站点并不多，除了 MySpace ，另外就是这个 PlentyOfFish。这个站点提供 “Online
Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind）的站点价值 10 亿，估计要让很多人眼热，更何况
Markus Frind 每天只用两个小时打理网站–可操作性很强嘛。
2. 从LiveJournal后台发展看
大型网站系统架构以及性能优化方法
http://www.example.net.cn/archives/2006/03/olivejournaloio.html
LiveJournal是99年始于校园中的项目，几个人出于爱好做了这样一个应用，以实现以下功能：
*
博客，论坛
* 社会性网络，找到朋友
*
聚合，把朋友的文章聚合在一起
LiveJournal采用了大量的开源软件，甚至它本身也是一个开源软件。
在上线后，LiveJournal实现了非常快速的增长：
*
2004年4月份：280万注册用户。
* 2005年4月份：680万注册用户。
* 2005年8月份：790万注册用户。
*
达到了每秒钟上千次的页面请求及处理。
* 使用了大量MySQL服务器。
* 使用了大量通用组件。
3. YouTube
的架构扩展
http://www.dbanotes.net/opensource/youtube_web_arch.html
在西雅图扩展性的技术研讨会上，YouTube
的 Cuong Do 做了关于 YouTube Scalability 的报告。视频内容在 Google Video
上有(地址)，可惜国内用户看不到。
Kyle Cordes 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。(Kyle Cordes
的介绍是本文的主要来源)
4. WikiPedia 技术架构学习分享
http://www.dbanotes.net/opensource/wikipedia_arch.html
维基百科(WikiPedia.org)位列世界十大网站，目前排名第八位。这是开放的力量。
来点直接的数据：
*
峰值每秒钟3万个 HTTP 请求
* 每秒钟 3Gbit 流量, 近乎375MB
* 350 台 PC 服务器
5. Tailrank
网站架构
http://www.dbanotes.net/review/tailrank_arch.html
每天数以千万计的
Blog 内容中，实时的热点是什么? Tailrank 这个 Web 2.0 Startup 致力于回答这个问题。
专门爆料网站架构的 Todd
Hoff 对 Kevin Burton 进行了采访。于是我们能了解一下 Tailrank 架构的一些信息。每小时索引 2400 万的 Blog 与
Feed，内容处理能力为 160-200Mbps，IO 写入大约在10-15MBps。每个月要处理 52T 之多的原始数据。Tailrank
所用的爬虫现在已经成为一个独立产品：spinn3r。
6. LinkedIn 架构笔记
http://www.dbanotes.net/arch/linkedin.html
LinkedIn 雇员有
180 个，在 Web 2.0 公司中算是比较多的，不过人家自从 2006 年就盈利了，这在 Web 2.0 站点中可算少的。用户超过 1600
万，现在每月新增 100 万，50％ 会员来自海外(中国用户不少，也包括我).
7. Yahoo！社区架构
http://www.dbanotes.net/arch/yahoo_arch.html
旧金山举行的
QCon 会议带给我们很多新鲜的信息。虽然没机会参加，但是看看各个网站”晒架构”也是个比较过瘾的事情。请参观并收藏这个页面：Architectures
you’ve always wondered about。
8. Craigslist 的数据库架构
http://www.dbanotes.net/database/craigslist_database_arch.html
Craigslist
绝对是互联网的一个传奇公司。根据以前的一则报道：
每月超过 1000 万人使用该站服务，月浏览量超过 30
亿次，(Craigslist每月新增的帖子近 10 亿条??)网站的网页数量在以每年近百倍的速度增长。Craigslist 至今却只有 18
名员工(现在可能会多一些了)。
9. Fotolog.com 的技术信息拾零
http://www.dbanotes.net/review/fotolog_arch.html
尽管是世界上最大的图片服务网站,
Fotolog.com 在国内的名气并不是很响亮, 每当提到图片服务, 很多人第一个会想起 Flickr. 但实际上 Fotolog 也的确是很猛的,
Alexa 上的排名一直在 Flickr 前面, 目前注册用户超过 1100 万. 而前不久也卖了一个好价钱, 9000 万美金. 算下来的话, 1
个注册用户大约 9 美金. Yupoo 的刘平阳可以偷着算算自己的网站如果卖给老外是怎样一个价格了.
10. Digg 网站架构
http://www.dbanotes.net/arch/digg_arch_cache_and_shard.html
Digg
工程师采用 LAMP (Linux, Apache, MySQL and PHP) 模式。这个 Alexa 排名在 100 左右的、自我估价 1.5
亿美金的站点目前有超过 100 台的 PC 服务器(足够少了)，可以粗略分成三个部分：数据库服务器，Web 服务器，搜索服务器。
11.
Amazon 的 Dynamo 架构
http://www.dbanotes.net/techmemo/amazon_dynamo.html
我在
DBAnotes.net 上记录过不少比较大的网站架构分析(eg: eBay [1], eBay [2]) ，Amazon
一直找不到太多的资料。国庆期间读到了一篇关于 Amazon Dynamo 的论文，非常精彩。Amazon Dynamo
这个高可用、可扩展存储体系支撑了Amazon 不少核心服务.
12. 财帮子（caibangzi.com）网站架构
http://www.dbanotes.net/arch/caibangzi_web_arch.html
财帮子(caibangzi.com)
定位在”基金理财社区”。是国内访问量最大的基于 Ruby on rails 的 startup
项目。“理财”这个词据说是光大银行发明的，且不去管，不可否认的是，目前国内”理财”是个很有潜力的切入点。财帮子网站潜在用户群还是很大的。
13.
了解一下 Technorati 的后台数据库架构
http://www.dbanotes.net/web/technorati_db_arch.html
目前处理着大约
10Tb 核心数据, 分布在大约 20 台机器上.通过复制, 多增加了 100Tb 数据, 分布在 200 台机器上. 每天增长的数据 1TB. 通过 SOA
的运用, 物理与逻辑的访问相隔离,　似乎消除了数据库的瓶颈. 值得一提的是, 该扩展过程始终是利用普通的硬件与开源软件来完成的. 毕竟 , Web 2.0
站点都不是烧钱的主. 从数据量来看，这绝对是一个相对比较大的 Web 2.0 应用.
14. 说说大型高并发高负载网站的系统架构
http://www.toplee.com/blog/?p=71
我在CERNET做过拨号接入平台的搭建，而后在Yahoo&3721从事过搜索引擎前端开发，又在MOP处理过大型社区猫扑大杂烩的架构升级等 工作，同时自己接触和开发过不少大中型网站的模块，因此在大型网站应对高负载和并发的解决方案上有一些积累和经验，可以和大家一起探讨一下。
15.
大型高负载网站架构 的感想

http://atman.memoab.com/articles/194

摘自：http://blog.csdn.net/lovingprince/article/details/3379710