大数据复习题（2021）.pdf

【大数据处理技术】主要涵盖大数据处理的关键技术和概念，其中MapReduce是核心之一。MapReduce是一种分布式计算模型，由Google提出，用于处理和生成大规模数据集。在Map阶段，原始数据被分割成多个小任务并行处理，每个Map任务将输入数据转化为键值对的形式。Shuffle阶段负责将Map任务的输出进行分区和排序，确保相同键的数据被分到同一组。Group阶段则将相同键的值聚合在一起，为Reduce阶段做准备。Combiner是一个可选的优化步骤，它在Map阶段就对数据进行局部聚合，减少网络传输的数据量。 Reduce阶段将接收到的键值对进行合并，对每个键执行一次函数操作，通常是对键对应的值列表进行聚合。这个过程可以理解为对数据的最终计算和整合。 MapReduce的灵活性和扩展性使其成为大数据处理的首选工具，尤其适合批处理任务。然而，对于实时或流式数据处理，Hadoop的MapReduce可能显得效率较低。这时，Spark作为一种快速、通用的大数据处理框架，应运而生。Spark提供了更高效的内存计算，支持交互式查询和实时分析，同时兼容Hadoop的生态系统，可以与HDFS和YARN协同工作。 Hadoop是大数据处理的基础平台，由HDFS（Hadoop Distributed File System）、YARN（Yet Another Resource Negotiator）和MapReduce组成。HDFS为海量数据提供高容错性的分布式存储，YARN作为资源管理系统，负责调度和管理集群中的计算资源，而MapReduce则是处理数据的计算框架。 在Hadoop中，HDFS的主要特点是数据的冗余存储和块级存储，保证了数据的可靠性和高可用性。YARN通过分离资源管理和作业调度，提高了系统资源的利用率和整体性能。MapReduce则通过其编程模型简化了大规模数据处理的复杂性，使得开发者可以专注于业务逻辑，而无需过多关注底层的分布式实现细节。 Spark相较于MapReduce，提供了更高级别的抽象，如RDD（Resilient Distributed Datasets）和DataFrame/Dataset，以及SQL接口，使得开发人员能够更容易地编写和运行复杂的数据处理任务。此外，Spark的弹性特性允许它在内存中缓存数据，从而实现了近实时的数据处理能力。 在大数据领域，评估不同算法和方法的相似度也是常见的任务。例如，Jaccard相似度是一种衡量集合相似性的指标，用于比较两个集合交集的大小与它们并集的大小之间的比例。在文本挖掘、社交网络分析等领域中，Jaccard相似度常用于计算用户兴趣的相似度或文档主题的相似度。 总结来说，大数据处理技术包括MapReduce、Spark等工具，它们为处理大规模数据提供了高效、可靠的解决方案。理解并掌握这些技术，对于从事大数据分析和应用开发的专业人士至关重要。