MapReduce中shuffle优化与重构 (2012年)

详细介绍 MapReduce编程框架，具体分析yMapReduce中shuffle阶段流程。分别从Map端数据压缩、重构远程数据拷贝传输协议、Reduce端内存分配优化三方面来优化和重构Shuffle。最后通过搭建Hadoop集群，运用 MapReduce分布式算法测试实验数据。实验结果证明优化重构后的Shuffle能显著提高MapReduce计算性能。