没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
试读
21页
PlentyOfFish 网站架构学习 采取 Windows 技术路线的 Web 2.0 站点并不多,除了 MySpace ,另外就是这个 PlentyOfFish。这个站点提供 "Online Dating” 服务。一个令人津津乐道的、惊人的数据是这个只有一个人(创建人Markus Frind)的站点价值 10 亿,估计要让很多人眼热,更何况 Markus Frind 每天只用两个小时打理网站--可操作性很强嘛。 之所以选择 Windows .NET 的技术路线是因为 Markus Frind 不懂 LAMP 那一套东西,会啥用啥。就这样,也能支撑 超过 3000 万的日点击率(从这个数字也能看出来人类对自然天性的渴望是多迫切)。Todd Hoff 收集了很多关于 PlentyOfFish 架构的细节。记录一下感兴趣的部分。 带宽与CPU PlentyOfFish 比较特殊的一个地方是 几乎不需要 Cache,因为数据变化过快,很快就过期。我不知道这是因为 ASP.NET 的特点带来的架构特点,还是业务就是这个样子的。至于图片,则是通过 CDN 支撑的。对于动态出站(outbound)的数据进行压缩,这耗费了 30% 的 CPU 能力,但节省了带宽资源。我最近才知道,欧美的带宽开销也不便宜。
资源推荐
资源详情
资源评论
大型网站架构技术方案集锦-具体内容
PlentyOfFish 网站架构学习
采取 技术路线的 站点并不多,除了 ,另外就是这个
。这个站点提供 服务。一个令人津津乐道的、惊人的数
据是这个只有一个人创建人 !" )的站点价值 #亿,估计要让很多人眼热,
更何况 !" 每天只用两个小时打理网站$$可操作性很强嘛。
之所以选择 %&'的技术路线是因为 !" 不懂 ()那一套东西,
会啥用啥。就这样,也能支撑 超过 *万的日点击率从这个数字也能看出来人类对自
然天性的渴望是多迫切+。',-收集了很多关于 架构的细节。记录一
下感兴趣的部分。
带宽与 CPU
比较特殊的一个地方是 几乎不需要 .,因为数据变化过快,很快就过
期。我不知道这是因为 )%&'的特点带来的架构特点,还是业务就是这个样子的。至
于图片,则是通过 .%支撑的。对于动态出站""+的数据进行压缩,这耗费了
*/的 .0能力,但节省了带宽资源。我最近才知道,欧美的带宽开销也不便宜。
负载均衡
微软 网络负载均衡% !(1+的一个缺陷是不能保持
状态我没有用过这玩意儿,不能确认+,价格也不便宜,而且复杂;网络负载均
衡对 架构的站点又是必须$$22的总连接数是有限制的。用的是
3 2
.4 +, 3 2 使用简单,而且功能比 %(1更丰富。
数据库
一共三台 5( 3 ,一台作为主库,另外两台只读数据库支撑查询。数据库性能监控
用的是“任务管理器。因为 . 没啥用,所以要花大力气优化 1。每个页
面上调用 1次数越少越好,越简单越好,这是常识,不过不是每个人都体会那么深而已。
微软好不容易找到了一个宣传案例,所以在 .6上有一个 的访谈。
取自天涯何处无芳草7+的意思,还挺有文化的。
从这一点上看,比国内那些拉皮条的网站好一些。
$$&$$
1
YouTube 的架构扩展
在西雅图扩展性的技术研讨会上,8"'"的 ."做了关于 8"'"
的报告。视频内容在 9:上有地址+,可惜国内用户看不到。
;. 对这个视频中的内容做了介绍。里面有不少技术性的内容。值得分享一下。
;. 的介绍是本文的主要来源+
简单的说 8"'"的数据流量<一天的 8"'" 流量相当于发送 => 亿封电子邮件<
?年中就有消息说每日 :超过 #亿<现在@更夸张了<每天有 # 亿次下载以及
?<> 次上传<真假姑且不论<的确是超乎寻常的海量国内的互联网应用<但从数据量来
看<怕是只有 >#A有这个规模但技术上和 8"'"就没法子比了
Web 服务器
8"'"出于开发速度的考虑,大部分代码都是 开发的。服务器有部分是
), 用 .92模式。对于视频内容则用 (。据我所知,也有
部分服务器用 (,但量不大。8"'"是 (最成功的案例。国内用
(站点不多,豆瓣用的比较舒服。+
视频
视频的缩略图'"A+给服务器带来了很大的挑战。每个视频平均有 B 个缩略图,
而每个 页面上更是有多个,每秒钟因为这个带来的磁盘 2请求太大。8"'"技
术人员启用了单独的服务器群组来承担这个压力,并且针对 .和 做了部分优化。
另一方面,缩略图请求的压力导致 (性能下降。通过 ,!(增加更多的
! 线程很大程度解决了问题。而最新的解决方案是起用了 9的 1',
这下子从性能、容错、缓存上都有更好表现。看人家这收购的,好钢用在了刀刃上。
出于冗余的考虑,每个视频文件放在一组迷你 ." 上,所谓 迷你 ." 就是一
组具有相同内容的服务器。最火的视频放在 .%上,这样自己的服务器只需要承担一
些漏网的随即访问即可。8"'"使用简单、廉价、通用的硬件,这一点和 9
风格倒是一致。至于维护手段,也都是常见的工具,如 <,等,只不过人家更手
熟罢了。
数据库
8"'"用 5(存储元数据$$用户信息、视频信息什么的。数据库服务器曾经一度遇
到 )颠簸的问题,解决办法是删掉了 )分区C管用。
最初的 1只有 #块硬盘,4)2#,后来追加了一组 4)2#。够省的。这一波
公司很少有用 的我知道的只有 1<参见这里+在扩展性方面,路线
也是和其他站点类似,复制,分散 2。最终的解决之道是分区<这个不是数据库层面的
表分区,而是业务层面的分区在用户名字或者 2上做文章<应用程序控制查找机制+
2
8"'"也用 A
很想了解一下国内 网站的数据信息<有谁可以提供一点 @
$$&$$
WikiPedia 技术架构学习分享
维基百科! +位列世界十大网站,目前排名第八位。这是开放的力量。
来点直接的数据:
峰值每秒钟 * 万个 ,''请求
每秒钟 *9bit 流量<近乎 375MB
*>台 .服务器数据来源+
架构示意图如下:
.D !1 A
9%
在我写的这些网站架构的 1中,9%第一次出现,这东西是啥@)B$
12% 7 " E3
12%<把用户带到最近的服务器。9%在 !架构中担当重任当然是由
!的内容性质决定的$$面向各个国家,各个地域。
负载均衡:LVS
3
!用 (:做负载均衡<是章文嵩博士发起的项目<也算中国人为数不多的在开源
领域的骄傲啦。(:维护的一个老问题就是监控了,维基百科的技术人员用的是
图片服务器:Lighttpd
(现在成了准标准图片服务器配置了。不多说。
Wiki 软件: MediaWiki
对 !的应用层优化细化得快到极致了。用开销相对比较小的方法定位代码热点,
参见实时性能报告,瓶颈在哪里,看这样的图树展示一目了然。另外一个十分值得重视的
经验是,尽可能抛弃复杂的算法、代价昂贵的查询,以及可能带来过度开销的 !
特性。
Cache! Cache! Cache!
维基百科网站成功的第一关键要素就是 .了。.%其实也算是 .+做内容分发
到不同的大洲、F"作为反向代理数据库 .用 A,*台,每台 9
。对所有可能的数据尽可能的 .,但他们也提醒了 .的开销并非永远都是最小
的,尽可能使用,但不能过度使用。
数据库: MySQL
!用的 1是 5(5(在 技术上的常见的一些扩展方案他们
也在使用。 复制、读写分离应用在 1上的负载均衡通过 (1 来做
到的,可以给我们一个很好的参考。
运营这样的站点,!每年的开支是 万美元,技术人员只有 ?个,惊人的高
效。
参考文档:
!A " (+
',-的文章
$$&$$
Tailrank 网站架构
4
每天数以千万计的 1内容中,实时的热点是什么@' !这个 "
致力于回答这个问题。
专门爆料网站架构的 ',-对 ;31" 进行了采访。于是我们能了解一下
' !架构的一些信息。每小时索引 B万的 1与 ,内容处理能力为
#?$,2写入大约在 #$#>1。每个月要处理 >'之多的原始数据。
' !所用的爬虫现在已经成为一个独立产品:* 。
服务器硬件
目前大约 #>台服务器,.0是 ?B位的 。每台主机上挂两个 )')盘,做
4)2。据我所知,国内很多 公司也用的是类似的方式,)')盘容量达,低
廉价格,堪称不二之选。操作系统用的是 ("E。服务器用 )
,F"做反向代理服务器。
数据库
' !用 5(数据库,联邦数据库形式。存储引擎用 21, 数据量
>91。;31" 也指出了 5(>在修了一些 多核模式下互斥锁的问题'
1"@+。到数据库的 G1.驱动连接池用 做负载均衡。5(3或者
的复制用 5(3来轻松完成。不过即使这样,还要花费 % 的时
间来折腾 1。
其他开放的软件
任何一套系统都离不开合适的 7工具,' !也不利外,针对 G3程序的
1A !用 1A !BH。(工具用 (>H不是 (BH+。' !所用的大部
分工具都是开放的。
' !的一个比较大的竞争对手是 'AA,虽然二者暂时看面向内容的侧重点有
所不同。其实,最大的对手还是自己,当需要挖掘的信息量越来越大,如果精准并及时的
呈现给用户内容的成本会越来越高。从现在来看,' !离预期目标还差的很远。期待
罗马早日建成。
5
剩余20页未读,继续阅读
资源评论
- zszhidian012018-11-01很不错,学习了
- olivesjin2016-05-11很不错,学习了
xudgenler
- 粉丝: 0
- 资源: 3
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功