Hadoop平台优化文献综述.docx
版权申诉
95 浏览量
2022-07-06
23:11:22
上传
评论
收藏 101KB DOCX 举报
Hadoop 平台优化文献综述(极力推荐) [复制链接]
yiranwuqing yiranwuqing 当前离线
注册时间 2011-3-10 最后登录 2012-3-20 在线时间 88 小时阅读权限 90 积分 13835 帖子 61
主题 21 精华 0UID12322 IP 卡 狗仔卡
论坛元老
签到 163 注册时间 2011-3-10 最后登录 2012-3-20 在线时间 88 小时阅读权限 90 积分 13835
帖子 61 主题 21 精华 0UID12322 串个门 加好友 打招呼 发消息 电梯直达 1#
发表于 2011-10-6 02:44:22 |只看该作者 |倒序浏览
1.
概述
随着企业要处理的数据量越来越大，MapReduce 思想越来越受到重视。Hadoop 是 MapReduce
的一个开源实现，由于其良好的扩展性和容错性，已得到越来越广泛的应用。Hadoop 作为
一个基础数据处理平台，虽然其应用价值已得到大家认可，但仍存在很多问题，以下是主要
几个：
（1）
Namenode/jobtracker 单点故障。 Hadoop 采用的是 master/slaves 架构，该架构管
理起来比较简单，但存在致命的单点故障和空间容量不足等缺点，这已经严重影响了 Hadoop
的可扩展性。
（2）
HDFS 小文件问题。在 HDFS 中，任何 block，文件或者目录在内存中均以对象
的形式存储，每个对象约占 150byte，如果有 1000 0000 个小文件，每个文件占用一个 block，
则 namenode 需要 2G 空间。如果存储 1 亿个文件，则 namenode 需要 20G 空间。这样 namenode
内存容量严重制约了集群的扩展。
（3）
jobtracker 同时进行监控和调度，负载过大。为了解决该问题，yahoo 已经开始着
手设计下一代 Hadoop MapReduce（见参考资料 1）。他们的主要思路是将监控和调度分离，
独立出一个专门的组件进行监控，而 jobtracker 只负责总体调度，至于局部调度，交给作业
所在的 client。
（4）
数据处理性能。 很多实验表明，其处理性能有很大的提升空间。Hadoop 类似于
数据库，可能需要专门的优化工程师根据实际的应用需要对Hadoop 进行调优，有人称之为
“Hadoop Performance Optimization” (HPO)。
为了提高其数据性能，很多人开始优化Hadoop。总结看来，对于Hadoop，当前主要有几个
优化思路：
（1） 从应用程序角度进行优化。由于 mapreduce 是迭代逐行解析数据文件的，怎样在迭
代的情况下，编写高效率的应用程序，是一种优化思路。
（2） 对 Hadoop 参数进行调优。当前 hadoop 系统有 190 多个配置参数，怎样调整这些参
数，使 hadoop 作业运行尽可能的快，也是一种优化思路。
（3） 从系统实现角度进行优化。这种优化难度是最大的，它是从 hadoop 实现机制角度，
发现当前 Hadoop 设计和实现上的缺点，然后进行源码级地修改。该方法虽难度大，但往往
效果明显。
以上三种思路出发点均是提高 hadoop 应用程序的效率。实际上，随着社会的发展，绿色环
保观念也越来越多地融入了企业，因而很多人开始研究Green Hadoop，即怎样让Hadoop 完
剩余10页未读，继续阅读
资源评论
