淘宝海量数据处理经验-几幅架构图
软件架构设计网站:hp://www.uml.org.cn/zjjs/zjjs.asp
(注:本文只是简简单单的截几幅图而已,要想更深入的学习和了解 hadoop 框架和 mapreduce 模式,或者对
淘宝的数据魔方感兴趣的话,尽可参考此文:从 Hadhoop 框架与 MapReduce 模式中谈海量数据处理。)
最近对海量数据处理发生了不小的兴趣,特此从一些精彩文章中摘取几幅精彩的图片或片段,拿来给大家分享。
所谓奇文共欣赏,好 Architecture 共品之。至于各位能从图中是窥得半点经验,还是一图以窥全貌,则不在我之责任,
全在于读者怎么去解读这几幅精彩的架构图了。
所以,本文在选取一些架构图之后,只配以最简单的文字,个中内容,读者自行品味之。如果有任何问题或建议,
欢迎不吝指正或畅所欲言。谢谢。
1、淘宝海量数据产品技术架构
上图是淘宝的数据魔方。按照数据的流向来划分,淘宝的数据产品的技术架构分为五层(如上图所示),分别是
数据源、计算层、存储层、查询层和产品层(图摘自《程序员》8 月刊)。
2、搜索引擎架构图