── 分布式计算开源框架 Hadoop 入门实践（一）
在 项目设计的过程中，对于它庞大的日志在开始时就考虑使用任务分解的
多线程处理模式来分析统计，在我从前写的文章《
日志分析并行分解设计与实现》中有所提到。但是由于统计的内容
暂时还是十分简单，所以就采用 作为计数器，结合 就完
成了访问控制以及统计的工作。然而未来，对于海量日志分析的工作，还是需
要有所准备。现在最火的技术词汇莫过于“云计算”，在 日益盛行的
今天，互联网应用的数据将会越来越有价值，如何去分析这些数据，挖掘其内
在价值，就需要分布式计算来支撑海量数据的分析工作。
回过头来看，早先那种多线程，多任务分解的日志分析设计，其实是分布式计
算的一个单机版缩略，如何将这种单机的工作进行分拆，变成协同工作的集群，
其实就是分布式计算框架设计所涉及的。在去年参加 大会的时候， 和
合作采用虚拟机来构建集群，无非就是希望使得计算机硬件能够类似
于应用程序中资源池的资源，使用者无需关心资源的分配情况，从而最大化了
硬件资源的使用价值。分布式计算也是如此，具体的计算任务交由哪一台机器
执行，执行后由谁来汇总，这都由分布式框架的 来抉择，而使用者只
需简单地将待分析内容提供给分布式计算系统作为输入，就可以得到分布式计
算后的结果。
! 是 开源组织的一个分布式计算开源框架，在很多大型网站上
都已经得到了应用，如亚马逊、"#$ 和 % 等等。对于我来说，最近
的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，
而这也正好符合了分布式计算的适用场景（日志分析和索引建立就是两大应用
场景）。
当前没有正式确定使用，所以也是自己业余摸索，后续所写的相关内容，都是
一个新手的学习过程，难免会有一些错误，只是希望记录下来可以分享给更多
志同道合的朋友。
什么是 Hadoop？
搞什么东西之前，第一步是要知道 （是什么），然后是 （为什么），
最后才是 &（怎么做）。但很多开发的朋友在做了多年项目以后，都习惯是
先 &，然后 ，最后才是 ，这样只会让自己变得浮躁，同时往往
会将技术误用于不适合的场景。
! 框架中最核心的设计就是：'! 和 ("。'! 的
思想是由 )* 的一篇论文所提及而被广为流传的，简单的一句话解释
'! 就是“任务的分解与结果的汇总”。 (" 是 ! 分布式文件
系统（ !(#!"*）的缩写，为分布式计算存储提供
了底层支持。
剩余20页未读，继续阅读
资源评论
