2018211582-李志毅-实验四1

在本次实验中，学生李志毅主要进行了三个方面的实践：RDD编程、Spark SQL通过JDBC连接MySQL数据库以及Spark Streaming的词频统计。实验涵盖了Apache Spark的基础操作以及数据处理和实时流处理的运用。 一、RDD编程 在RDD编程实验中，李志毅使用Scala编写程序合并并去重两个文本文件（"words1.txt"和"words2.txt"）的内容。通过创建SparkConf对象设置应用名称和主节点（使用YARN作为资源管理器），然后初始化SparkContext。接着，他读取两个文本文件为RDD，并使用union操作合并这两个RDD。为了去除重复项，他使用filter函数过滤掉空行，然后通过map转换每行数据为键值对形式((line, "")，其中line为键，""为空值）。之后，使用groupByKey将相同键的数据聚合在一起，再通过sortByKey按键排序。最后，只保留键（_._1）并将其保存为一个新的文本文件到HDFS上。 二、Spark SQL与JDBC连接MySQL 实验第二部分涉及在Spark中通过JDBC接口连接MySQL数据库。首先，李志毅在服务器上安装并配置了MySQL。然后，他编写Scala代码，创建Spark SQL的SQLContext，并定义了数据表的结构（StructType）。在插入数据之前，他创建了一个Properties对象，设置数据库连接的相关属性，如URL、用户名和密码。接着，他使用DataFrame API将数据写入到MySQL的指定表中，这展示了Spark SQL与传统关系型数据库的交互能力。 三、Spark Streaming词频统计 Spark Streaming实验中，李志毅首先安装并启动了Kafka，然后编写了消费者端的Spark Streaming程序来统计词频。消费者接收来自Kafka生产者发送的单词，对数据进行处理并计算词频。这展示了Spark Streaming的实时处理能力，可以用于实时监控和分析数据流。 在实验过程中，李志毅遇到了两个主要问题： 1. 去重后排序问题：在使用distinct()方法去重后，他发现结果未按照第一列排序。解决方法是通过sortByKey()函数对结果进行排序。 2. Spark连接MySQL数据库出错：由于URL配置中的localhost拼写错误，导致连接失败。修正拼写后，成功建立了连接。 这两个问题反映了实验过程中需要注意细节的重要性，以及对Scala和Spark相关API的熟悉程度。在未来的实验中，李志毅应该更加细心，提前预习和理解实验步骤，避免类似错误的发生。 总之，这个实验涵盖了Spark的基础操作，包括RDD的创建、转换和动作，以及Spark SQL与JDBC的交互，还有Spark Streaming的实时流处理。通过这些实验，李志毅加深了对Spark框架的理解，掌握了大数据处理的关键技能。