MapReduce的重要概念
什么是MapReduce
1
MapReduce核心思想
2
MapReduce特点
3
MapReduce适用的开发场景
4
目 录
一、什么是MapReduce
MapReduce起源，在介绍大数据编年史时有提到Google最早在04年发表论文MapReduce，之后Doug Cutting基于这篇论文通过Java做了开源实现，Mapredce如今是作为Hadoop的核心组件之一，而HDFS是Hadoop的另外一个核心，此外还有Hadoop2.X之后推出的YARN。
什么是MapReduce
二、MapReduce核心思想
“分而治之”，分治思想是MapReduce当中一个非常重要的思想。大数据场景当中我们处理的数据量非常之大，任务也很重，于是我们通常采用分治的思想，把这样一个大任务拆分为数个本质相同却又互相独立的小任务（就像将一个大面包切分成多块小的面包），这些小任务同时进行计算，后对计算结果进行汇总，这样子的话会比我们单进程的计算速度要快很多。
分而治之，分布式计算
二、MapReduce核心思想
在HDFS中数据已经按不同的block拆分之后分散
