云计算实验报告书.doc

"实验项目名称 "多表关联 "实验成绩 " " "实验者 " "专业班级 " "组别 " " "同组者 " "实验日期 "2016．1．9 " "第一部分：实验分析与设计（可加页） " "一、 实验内容描述（问题域描述） " " " "输入两个文件：一个代表工厂表，包含工厂名列和地址编号列；另一个代表 " "地址表，包含地址名列和地址编号列。从输入数据中找出工厂名和地址名的 " "对应关系，输出"工厂名——地址名"表，按工厂名排序输出；数据文件自己设 " "计样例。 " " " "实验基本原理与设计（包括实验方案设计，实验手段的确定，试验步骤等， " "用硬件逻辑或者算法描述） " "具体的算法实现如下： " "public class MTjoin { " "public static int time = 0; " "/* 在map中先区分输入行属于左表还是右表，然后对两列值进行分割， " "* 保存连接列在key值，剩余列和左右表标志在value中，最后输出 " "*/ " "public static class Map extends Mapper<Object, Text, 实验报告的标题为“云计算实验报告书”，描述的是一个名为“多表关联”的实验，旨在通过处理两个数据文件，一个代表工厂表，另一个代表地址表，来找出工厂名与地址名之间的对应关系，并生成“工厂名——地址名”的输出表，按照工厂名排序。这个实验在2016年1月9日进行，由特定的学生完成，可能作为某个IT专业课程的一部分。 实验的核心是通过编程实现数据的关联和处理。在Java中，使用了MapReduce模型，具体地，定义了一个名为`MTjoin`的类，其中包含`Map`和`Reduce`两个阶段。`Map`阶段的主要任务是解析输入的行，区分它们来自左表（工厂表）还是右表（地址表），并提取关键信息，如工厂名和地址编号。在`Map`类中，有一个`map`函数，它首先判断输入行是否包含“factoryname”或“addressed”来确定是否处理该行，接着使用`StringTokenizer`对行内容进行分词，找到地址编号，然后将工厂名和左右表标识保存，最后将这些信息作为键值对输出。 `Reduce`阶段的目的是合并`Map`阶段的结果，实现数据的关联。在这个实验中，定义了一个`Reduce`类，其中的`reduce`函数接收相同键（地址编号）的所有值（包含左右表标识和工厂名），然后根据标识区分来自左表和右表的数据，进行笛卡尔积计算，最终输出工厂名与地址名的组合。 这个实验体现了云计算中数据处理的基本原理，即分布式计算和大规模数据处理。MapReduce是一种广泛应用于大数据处理的编程模型，由Google提出，它将复杂的数据处理任务分解为简单的映射（Map）和化简（Reduce）操作。在这个实验中，`Map`负责数据的预处理和转换，而`Reduce`则负责数据的聚合和结果的生成。这种模型尤其适用于并行处理大量数据，提高效率。 此外，实验也涉及到了数据关联的基本概念，这在数据库管理和数据挖掘中是非常重要的。通过关联工厂表和地址表，可以发现不同实体之间的联系，这对于业务分析、决策支持和数据可视化具有重要意义。实验的实施过程展示了如何利用编程手段解决实际的关联问题，这在IT领域，特别是大数据和云计算的背景下，是一个非常实用的技能。