大数据平台技术—实验4(2023-2024-1) .doc

大数据平台技术实验报告 本实验报告旨在掌握Spark计算环境的搭建方法和Scala/Python语言下的Spark基本程序设计方法。该实验分为四个部分：Spark计算环境搭建、Spark环境下的Pi值计算、Spark环境下的WordCount计算和Spark SQL计算实验。 一、Spark计算环境搭建 掌握Spark计算环境的搭建方法是大数据平台技术的基础。该实验中，我们需要在Linux操作系统环境中搭建Spark计算环境，并选择Scala、Python或Java语言，搭建编程环境。实验步骤包括下载Spark压缩文件包，解压缩到/usr/local文件夹下，修改配置文件spark-env.sh，添加export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)，验证Spark是否安装成功。最终，我们可以启动Spark的Shell界面，证明Spark计算环境已经搭建成功。 二、Spark环境下的Pi值计算 在Spark环境下，计算圆周率Pi值是基础算法之一。该实验中，我们使用Spark shell的自带示例程序SparkPi，计算圆周率，也可以使用Scala、Python或Java语言，编程实现圆周率Pi的计算。实验步骤包括使用Python3编写程序并运行，使用jupyter notebook编写Python3程序并运行。 三、Spark环境下的WordCount计算 WordCount计算是Spark环境下的基本算法之一。该实验中，我们使用Scala、Python或Java语言，读取Linux系统中的任意文本文件，编程实现Spark环境下的WordCount计算。实验步骤包括创建一个TXT文本文件，使用Python3编写代码并运行，需要先导入findspark、pyspark模块。 四、Spark SQL计算实验 Spark SQL是Spark的sql模块，提供了sql查询和数据分析功能。该实验中，我们在Linux环境下建立包含“学号（ID）”、“姓名（Name）”、“课程（Course）”的JSON文件，并录入相应数据。然后，我们使用Spark SQL编程读取上述JSON文件，并显示其中内容，选择并显示“姓名”和“课程”相应信息，使用Spark SQL编程实现从上述JSON文件中选择并显示“姓名”的groupBy操作，使用Spark SQL将上述JSON文件中内容封装为临时视图，并调用SQL语句执行数据检索，返回所有的数据。 通过本实验，我们可以掌握Spark计算环境的搭建方法，Spark环境下的Pi值计算、WordCount计算和Spark SQL计算实验。这些知识点对于大数据平台技术的应用和发展至关重要。