分布式计算开源框架Hadoop入门实践
5星 · 超过95%的资源 需积分: 10 169 浏览量
2010-05-26
10:07:46
上传
评论
收藏 294KB PDF 举报 
分布式计算开源框架 Hadoop 入门实践
作者介绍：岑文初，就职于阿里软件公司研发中心平台一部，任架构师。当前主要工作涉及
阿里软件开发平台服务框架（
ASF
）设计与实现，服务集成平台（
SIP
）设计与实现。没有
什么擅长或者精通，工作到现在唯一提升的就是学习能力和速度。
一、分布式计算开源框架 Hadoop 实践
在 SIP 项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的多线程处理模
式来分析统计，在我从前写的文章《Tiger Concurrent Practice --日志分析并行分解设计与
实现》中有所提到。但是由于统计的内容暂时还是十分简单，所以就采用 Memcache 作为
计数器，结合 MySQL 就完成了访问控制以及统计的工作。然而未来，对于海量日志分析的
工作，还是需要有所准备。现在最火的技术词汇莫过于“云计算”，在 Open API 日益盛行的
今天，互联网应用的数据将会越来越有价值，如何去分析这些数据，挖掘其内在价值，就需
要分布式计算来支撑海量数据的分析工作。
回过头来看，早先那种多线程，多任务分解的日志分析设计，其实是分布式计算的一个单机
版缩略，如何将这种单机的工作进行分拆，变成协同工作的集群，其实就是分布式计算框架
设计所涉及的。在 去年参加 BEA 大会的时候，BEA和 VMWare 合作采用虚拟机来构建集群，
无非就是希望使得计算机硬件能够类似于应用程序中资源池的资源，使用者无需关心资源的
分配情况，从而最大化了硬件资源的使用价值。分 布 式计算也是如此，具体的计算任务交由
哪一台机器执行，执行后由谁来汇总，这都由分布式框架的 Master 来抉择，而使用者只需
简单地将待分析内容提供给分布式计算系统作为输入，就可以得到分布式计算后的结果。
Hadoop 是 Apache 开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了
应用，如亚马逊、Facebook 和 Yahoo 等等。 对于我来说，最近的一个使用点就是服务集
成平台的日志分析。服务集成平台的日志量将会很大，而 这也正好符合了分布式计算的适用
场景（日志分析和索引建立就 是两大应用场景）。
当前没有正式确定使用，所以也是自己业余摸索，后续所写的相关内容，都是一个新手的学
习过程，难免会有一些错误，只是希望记录下来可以分享给更多志同道合的朋友。
什么是 Hadoop？
搞什么东西之前，第一步是要知道 What（是什么），然后是 Why（为什么），最后才是 H
ow（怎么做）。但很多开发的朋友在做了多年项目以后，都习惯是先 How，然后 What，
最后才是 Why，这样只会让自己变得浮躁，同时往往会将技术误用于不适合的场景。
Hadoop 框架中最核心的设计就是：MapReduce 和 HDFS。MapReduce 的思想是由 Google
的一篇论文所提及而被广为流传的， 简单的一句话解释 MapReduce 就是“任务的分解与结
果的汇总”。HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System）的缩写，
为分布式计算存储提供了底层支持。
剩余18页未读，继续阅读
评论1