没有合适的资源?快使用搜索试试~ 我知道了~
Web2.0的兴起,掀起了互联网新一轮的网络创业大潮。以用户为导向的新网站建设概念,细分了网站功能和用户群,不仅成功的造就了一大批新生的网站,也极大的方便了上网的人们。但Web2.0以用户为导向的理念,使得新生的网站有了新的特点——高并发,高流量,数据量大,逻辑复杂等,对网站建设也提出了新的要求
资源详情
资源评论
资源推荐
高并发高流量网站架构
http://tech.ddvip.com2008年09月05日 社区交流
关键字: 引擎设计 O/R MAPPING VisAD 对象结构模式 UDDI4J MVC模式
内容摘要:本文围绕高并发高流量的网站架构设计问题,主要研究讨论了以下内容
Web2.0的兴起,掀起了互联网新一轮的网络创业大潮。以用户为导向的新网
站建设概念,细分了网站功能和用户群,不仅成功的造就了一大批新生的网站,也极
大的方便了上网的人们。但Web2.0以用户为导向的理念,使得新生的网站有了新的特
点——高并发,高流量,数据量大,逻辑复杂等,对网站建设也提出了新的要求。
本文围绕高并发高流量的网站架构设计问题,主要研究讨论了以下内容:
首先在整个网络的高度讨论了使用镜像网站,CDN内容分发网络等技术对负载均
衡带来的便利及各自的优缺点比较。然后在局域网层次对第四层交换技术,包括硬件
解决方案F5和软件解决方案LVS,进行了简单的讨论。接下来在单服务器层次,本文
着重讨论了单台服务器的Socket优化,硬盘级缓存技术,内存级缓存技术,CPU与IO
平衡技术(即以运算为主的程序与以数据读写为主的程序搭配部署),读写分离技术
等。在应用层,本文介绍了一些大型网站常用的技术,以及选择使用该技术的理由。
最后,在架构的高度讨论了网站扩容,容错等问题。
本文以理论与实践相结合的形式,结合作者实际工作中得到的经验,具有较广泛
的适用性。
1 引言
1.1 互联网的发展
最近十年间,互联网已经从一个单纯的用于科研的,用来传递静态文档的美国内
部网络,发展成了一个应用于各行各业的,传送着海量多媒体及动态信息的全球网络
从规模上看,互联网在主机数、带宽、上网人数等方面几乎一直保持着指数增长的趋
势,2006年7月,互联网上共有主机439,286,364台,WWW 站点数量达到 96,
854,877个 [1]。全球上网人口在2004 年达到 7 亿 2900万 [2],中国的上网人
数在 2006 年 12 月达到了约 1亿3700 万[3]。另一方面,互联网所传递的内容也发
生了巨大的变化,早期互联网以静态、文本的公共信息为主要内容,而目前的互联网
则传递着大量的动态、多媒体及人性化的信息,人们不仅可以通过 互联网阅读到动态
生成的信息,而且可以通过它使用电子商务、即时通信、网上游戏等交互性很强的服
务。因此,可以说互联网已经不再仅仅是一个信息共享网络,而已经成为了一个无所
不在的交互式服务的平台。
1.2 互联网网站建设的新趋势
互联网不断扩大的规模,日益增长的用户群,以及web2.0[4]的兴起,对互联网
网站建设提出了新的要求:
高性能和高可扩展性。2000 年 5 月,访问量排名世界第一(统计数据来源
[5])的Yahoo [6]声称其日页浏览数达到 6 亿 2500 万,即每秒约 30,000 次
HTTP 请求(按每个页面浏览平均产生 4 次请求计算) 。这样大规模的访问量对服务的
性能提出了非常高的要求。更为重要的是, 互联网受众的广泛性,使得成功的互联网
服务的访问量增长潜力和速度非常大,因此服务系统必须具有非常好的可扩展性,以
应付将来可能的服务增长。
支持高度并发的访问。高度并发的访问对服务的存储与并发能力提出了很高的要
求,当前主流的超标量和超流水线处理器能处理的并发请求数是有限的,因为随着并
发数的上升,进程调度的开销会很快上升。互联网广域网的本质决定了其访问的延迟
时间较长,因此一个请求完成时间也较长,按从请求产生到页面下载完成 3 秒计算,
Yahoo 在 2000 年 5 月时平均有 90,000 个并发请求。而且对于较复杂的服务,服务
器往往要维护用户会话的信息,例如一个互联网网站如果每天有 100 万次用户会话,
每次 20分钟的话,那平均同时就会有约 14000 个并发会话。
高可用性。互联网服务的全球性决定了其每天 24 小时都会有用户访问,因此任何
服务的停止都会对用户造成影响。而对于电子商务等应用,暂时的服务中止则意味着
客户的永久失去及大量的经济损失,例如ebay.com[7]1999 年 6 月的一次 22小时
的网站不可访问,对此网站的 380万用户的忠诚度造成巨大影响,使得 Ebay 公司不得
不支付了近500万美元用于补偿客户的损失,而该公司的市值同期下降了 40 亿美元
[8]。因此,关键互联网应用的可用性要求非常高。
1.3 新浪播客的简介
以YouTube[9]为代表的微视频分享网站近来方兴未艾,仅2006年一年,国内就
出现近百家仿YouTube的微视频分享网站[10],试图复制YouTube的成功模式。此
类网站可以说是Web2.0概念下的代表网站,具有Web2.0网站所有典型特征:高并发
高流量,数据量大,逻辑复杂,用户分散等等。新浪[11]作为国内最大的门户网站
在2005年成功运作新浪博客的基础上,于2006年底推出了新浪播客服务。新浪播客作
为国内门户网站中第一个微视频分享服务的网站,依靠新浪网站及新浪博客的巨大人
气资源,在推出后不到半年的时间内,取得了巨大的成功:同类网站中上传视频数量
第一、流量增长最快、用户数最多[12],所有这些成绩的取得的背后,是巨大的硬
件投入,良好的架构支撑和灵活的应用层软件设计。
2.1 镜像网站技术
镜像网站是指将一个完全相同的站点放到几个服务器上,分别有自己的URL,这
些服务器上的网站互相称为镜像网站[13]。镜像网站和主站并没有太大差别,或者
可以视为主站的拷贝。镜像网站的好处是:如果不能对主站作正常访问(如服务器故
障,网络故障或者网速太慢等),仍能通过镜像服务器获得服务。不便之处是:更新
网站内容的时候,需要同时更新多个服务器;需要用户记忆超过一个网址,或需要用
户选择访问多个镜像网站中的一个,而用户选择的,不一定是最优的。在用户选择的
过程中,缺乏必要的可控性。
在互联网发展的初期,互联网上的网站内容很少,而且大都是静态内容,更新频
率底。但因为服务器运算能力低,带宽小,网速慢,热门网站的访问压力还是很大。
镜像网站技术在这种情况下作为一种有效解决方案,被广泛采用。随着互联网的发展
越来越多的网站使用服务器端脚本动态生成内容,同步更新越来越困难,对可控性要
求越来越高,镜像技术因为不能满足这类网站的需要,渐渐的淡出了人们的视线。但
有一些大型的软件下载站,因为符合镜像网站的条件——下载的内容是静态的,更新
频率较低,对带宽,速度要求又比较高,如国外的SourceForge
(http://www.SourceForge.net,著名开源软件托管网站),Fedora(http://fedorapro
ject.org,RedHat赞助的Linux发行版),国内的华军软件园(http://
www.onlinedown.net),天空软件站(http://www.skycn.com)等,还在使用这项技术
(图1)。
图1 上图:天空软件站首页的镜像选择页面
下图:SourceForge下载时的镜像选择页面
在网站建设的过程中,可以根据实际情况,将静态内容作一些镜像,以加快访问
速度,提升用户体验。
2.2 CDN内容分发网络
CDN的全称是Content Delivery Network,即内容分发网络。其目的是通过在现有
的互联网中增加一层新的网络架构,将网站的内容发布到最接近用户的网络“边缘”,使
用户可以就近取得所需的内容,分散服务器的压力,解决互联网拥挤的状况,提高用
户访问网站的响应速度。从而解决由于网络带宽小、用户访问量大、网点分布不均等
原因所造成的用户访问网站响应速度慢的问题[14]。
CDN与镜像网站技术的不同之处在于网站代替用户去选择最优的内容服务器,增
强了可控制性。CDN其实是夹在网页浏览者和被访问的服务器中间的一层镜像或者说
缓存,浏览者访问时点击的还是服务器原来的URL地址,但是看到的内容其实是对浏
览者来说最优的一台镜像服务器上的页面缓存内容。这是通过调整服务器的域名解析
来实现的。使用CDN技术的域名解析服务器需要维护一个镜像服务器列表和一份来访
剩余17页未读,继续阅读
zhoubing2010
- 粉丝: 0
- 资源: 5
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0