谷歌-分布式计算开源框架Hadoop入门

所需积分/C币:16 2016-03-21 10:58:43 175KB PDF
12
收藏 收藏
举报

谷歌-分布式计算开源框架Hadoop入门,很经典的,谷歌-分布式计算开源框架Hadoop入门,与大家共享!
BM 投资好几个亿,以应用于其SOA理念,为个业的中间件业务提供计算平台和 架构 3、学术计算平 google and ibl University of Maryland: Ongoing research and teaching efforts include projects in machine translation, language modeling, bioinformatics, email analysis, and image processing 综合以上3点可以验证我们上面提到的:无论是企业级应用、还是互联风服务、还是科 学教育计算平台, Hadoop都有其用武之地,PC的单机时代已经过去,未来的应用大都 需要更强的讦算力,更广泛的分布,更低的耦合性,更强的稳定性,更灵活的可扩展性。 传统的集群模式在这些苛刻的要求下也显得有些力不从心。但是利用分布式技术,就 可以充分利用已有的资源,组织更为庞大的计算网络,满足各个行业的应用计算需求。 在此我们可以提出Hado在nux平台下的应用场景有:企业\垂值搜索、海量数据分 析(日志)、业务处理(中间件)。 yahoo最近的粲籽闻称:209秒的时间对1TB的数据进行完全排序,比上一年的的 纪录保持者保持的297秒快乐捋近90秒。 四、什么是 MapReduce MapReduce是 Google的·项重要技术,它是个编程模型,用以进行大数据量的计 算。对于大数据量的计算,通常采用的处理于法就是并行计算。至少现阶段而营,对许 多开发人员说,并行计算还是一个比较遥远的东西。 MapReduce就是一种简化并行计 算的编程模型,它让那些没有多少并行计算经验的开发人员也可以开发并行应用 MapReduce的名字源于这个模型中的两项核心操作:Map和 Reduce。也许熟悉 Functional| Programming(幽数式编程)的人见到这两个词会倍感亲切。简单的说来, Map是把一组数据一对一映射为另外的一组数据,其映射的规则由一个函数来指定, 比如对[1,2,3,4]进行乘2的映射就变成了[2,4,6,8]。 Reduce是对一组数据进行 归约,这个归约的规则一个函数指定,比如对[1,2,3,4]进行求和的归约得到结果 是10,而对它进行求积的约结果是24。 实际操作中这两项操作是可以自由的指定,而正是这一点带给了 MapReduce模型巨 大的灵活性。如前面所说,适当的修改Map和 Reduce的细节,就可以把模型应用于完 仝不同的场景。相同的机器,相同的网络结构以及相同的系统和应用软件,却可以在不 同的领域和应用服务中灵活的切换。这大大减少了企业的开发和运营成本。 而如今的 MapReduce的具体实现一一 Hadoop,正以这个目标活跃丁社区和企业之 mapreduce的示例图 五、 Hadoop的可扩展性 从 hadoop的设计角度考虑,可扩展性是其的初衷,无论是存储的可扩展性,还是计 算能力的可扩展性 我们先从存储的可扩展性来说: hadoop支持的节点数是1,000,甚至更多,在这个大范围内,可以任意的添加和删除, 也就是在分布式文件系统中的可仲缩性,有 master node统一命名空间,∪RI的先进 思想,使的任何的添加或刪除对于应用来说都是透明的。 即使是HDFS中的文件经常由于节点的失效、增加或者 replication因子的改变或者重 新均衡等进行着复制或者移动,而客户端和客户端程序并不需要改变什厶, Namenode的edts日志文件记录着这些变更。 详情可参考:丛HDFS看分布式文件系统的设计需求 再从讣算能力的可扩展性来说 由于 Hadoop从一开始就是应用分布式的计算思想,加上Map/ Reducel的根本理念, 任何的硬件或虚拟化的节点的加人和删除,对于计算本来说,有HDFS的副本复制的 支撑,只要配置信息的更改,就完成一次大范围的扩展。 五、 Hadoop分布式文件桑统的易用性 如此说来,是因为其为lnux,Unⅸ用户所熟悉的指合,我们先来看看它常用的摸作指合 Hadoop的关于文件的操作格式为:/bin/ hadoop fs[args]URI[URI] 1、cat Usage: hadoop fs-cat URI [URI 从文件翰出到标准输出 2、 chgrp Usage: hadoop fs-chgrp [-R] GROUP URI [URI 更改组属主 、 chmod Usage: hadoop fs-chmod [-R]<MODEL, MODE . OCTALMODE> URI [URI 更改文件权限 4、 chown Usage: hadoop fs-chown [-R] [OWNer]: GROUPJ] URI [URI 更改文件属主 5、 copy FromLocal Usage: hadoop fs -copy FromLocal <localsrc> URI 类似put指合。 6、 copyToLocal Usage: hadoop fs-copyToLocal [-ignorecrc][-crc] URI <localdst> 类似get指合 Usage: hadoop fs-cp URI [URI.]<dest> 复制 8、du Usage: hadoop fs-du URI [URI . 显示文件的长度。 s Usage: hadoop fs -dus <args> 混示文件长度的总计 10、 expunge Usage: hadoop fs -expunge 清空回收站。 11、get Usage: hadoop fs-get[-ignorecrc][-crc]<src> <localdst> 复制文件到本地文件桑统 12、 getmerge Usage: hadoop fs-getmerge <src> <localdst>[addnl] 3,|s 无论是hdfs到本地文件系统,还是公地文件系统到HDFS,均操作简易。因为基于网络,所以∪RI命 名宪间的应用绝对是完美之举。 参老文献: 1、分布式计算开源框架 Hadoop.亼口实踐 Author:岑文初 2 wiki. apache hadoop. org 3、 Google labs

...展开详情
试读 5P 谷歌-分布式计算开源框架Hadoop入门
立即下载 身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
  • 签到新秀

关注 私信
上传资源赚钱or赚积分
最新推荐
谷歌-分布式计算开源框架Hadoop入门 16积分/C币 立即下载
1/5
谷歌-分布式计算开源框架Hadoop入门第1页

试读结束, 可继续读1页

16积分/C币 立即下载