google、facebook、Twitter、eBay、腾讯、淘宝技术发展历程
需积分: 10 81 浏览量
2012-11-02
10:49:56
上传
评论
收藏 91KB DOCX 举报
知名网站的技术发展历程
互联网已经发展多年，其中不乏脱颖而出者，这些网站多数都已存在了接近 年或
年以上，在如此长时间的发展过程中，除了业务上面临的挑战，在技术上也面临了很多
的挑战。我挑选了一些 排名较前的网站排名截止到 年 月 日，看看它
们在技术上是如何应对业务发展过程中的挑战的。
目前 排名第 。它诞生于 年，当时是一个研究性项目，每个月
一次索引， 出来的索引通过 的方式分散到多台服务
器上，具体的网页数据同样通过 的方式分散到多台服务器
上，当用户提交请求时，通过前端的一台服务器将请求提交给 获得
打了分的倒排索引，然后从 提取具体的网页信息例如网页标题、搜索关键词
匹配的片段信息等，最终展现给用户。
随着索引的网页增加，这个结构可通过增加 以及 来存储
索引以及网页的数据，但仍然会面临其他很多方面的问题，于是在这之后的十多年的时间
里， 做了很多事情来改进上面的结构。
年， 增加了一个 !，用来 查询的索引结果和文档
片段信息，同时将 和 通过 "#! 的方式变成了 !。
这两个改造带来的好处是网站的响应速度、可支撑的访问量以及可用性!得到
了提升。这个变化造成了成本的增加， 在硬件方面的风格始终是不用昂贵的高端
硬件，而是在软件层面来保证系统的可靠性及高性能，于是同年， 开始采用自行
设计的服务器来降低成本。 年， 开始自行设计 ! !，采用了各种方
法例如采用其他的制冷方法来替代空调来优化 $%&能源利用率，同时对自行设计的服
务器也做了很多化。 年， 对 的格式进行了修改，将所有的 放
入内存， 这次改造带来的好处是网站的响应速度以及可支撑的访问量得到了极大的提升。
' 年， 发表了文章 !!!，其 ! 结构组成为硬
件 ()* !* !*大量廉价服务器例如 & 硬盘、性价比高的 $%
等，通过并行处理* 来保证在降低对硬件要求的同时，响应速度仍然很快。同
年 发表了关于 文件系统的论文+ 在 年就已经上线，这篇论文
很大程度也体现了 不用昂贵硬件的风格，通过 +*大量廉价的服务器即可存储
大量的数据。 年， 再次对 的格式进行了修改，使得网站的响应速度
资源评论
