【MapReduce篇02】MapReduce之工作流程1

MapReduce是一种分布式计算模型，由Google提出，主要用于处理和生成大规模数据集。在这个模型中，数据被分割成多个块（InputSplit），并分配给多个Map任务（MapTask）并行处理，然后通过Shuffle和Reduce阶段整合结果。下面将详细阐述MapReduce的工作流程，特别是MapTask和ReduceTask的运作机制。 MapTask的详细工作流程如下： 1. **Read阶段**：MapTask通过RecordReader组件，从InputSplit中读取原始数据，将其解析为key/value对。 2. **Map阶段**：解析出的key/value对被传递给用户自定义的map()函数，map()函数根据业务需求处理这些数据，生成新的key/value对。 3. **Collect收集阶段**：map()函数处理后的结果被收集到内存缓冲区，按Partitioner进行分区，然后存储到环形内存缓冲区中。 4. **Spill阶段**： - **步骤1**：当内存缓冲区满时，数据将被排序（先分区，再按照key排序）并写入到本地磁盘的临时文件。 - **步骤2**：每个分区的数据按编号顺序写入到`output/spillN.out`文件。如果启用了Combiner，会在写入前对每个分区的数据进行一次本地聚合操作。 - **步骤3**：每个分区的元数据（如偏移量、压缩前后大小）记录到内存索引SpillRecord，当索引超过1MB时，将其写入到对应的`.index`文件。 5. **Combine阶段**：所有数据处理完毕后，MapTask会将所有临时文件合并成一个大文件`output/file.out`，同时生成索引文件`output/file.out.index`。合并过程中，以分区为单位进行，多轮递归合并，直到只剩一个文件。 ReduceTask的工作流程如下： 1. **Copy阶段**：ReduceTask从完成的MapTask处拉取处理过的数据片，并根据大小决定是存储到内存还是磁盘。 2. **Merge阶段**：后台线程同时合并内存和磁盘上的数据，以控制内存占用和磁盘文件数量。 3. **Sort阶段**：所有数据在进入reduce()函数之前必须进行全局排序，这通过归并排序实现，因为MapTask已完成了局部排序。 4. **Reduce阶段**：reduce()函数接收排序后的key/value对，进行计算，并将结果写入HDFS。 Shuffle机制是MapReduce的关键组成部分，它确保Reducer输入的数据是按key排序的。Shuffle主要包括以下步骤： 1. **缓冲区数据溢出**：MapTask中内存缓冲区的数据溢出至本地磁盘，可能形成多个溢出文件。 2. **文件合并**：多个溢出文件被合并成更大的文件。 3. **分区与排序**：在溢出和合并过程中，都进行分区和key排序。 4. **数据传输**：ReduceTask获取与其分区号匹配的数据，来自不同MapTask的文件在ReduceTask端进行合并。 5. **归并排序**：所有数据再次进行合并排序，形成供reduce()函数处理的大文件。 6. **逻辑运算**：Reducer读取排序好的键值对，调用用户自定义的reduce()函数进行处理。 Shuffle过程中的缓冲区大小可以通过`io.sort.mb`参数调整，缓冲区越大，减少磁盘I/O次数，提高执行效率。因此，优化这个参数对于MapReduce程序的性能至关重要。