Hadoop应用开发大作业.docx

统计全球每年的最高气温和最低气温；要求：按每年每月统计最高和最低气温；按每年每月统计平均气温，并按年月由近到远排序；按年月筛选15-25度之间的气温数据，并按2014到2016年分别存储到3个文件中。 完整结课报告 ：Hadoop应用开发——全球气温统计与分析 ：本项目旨在通过Hadoop和Spark技术，对2014年至2016年全球气温数据进行统计和分析，包括每年每月的最高气温、最低气温的计算，以及平均气温的排序和特定温度范围的数据筛选。 ：Hadoop, Spark 【部分内容】： 在这个大作业中，学生首先从FTP服务器下载了2014年至2016年的天气数据，经过预处理，只保留了日期和气温信息。接着，使用Python对数据进行清洗，将多个小文件合并成一个大文件"data.txt"。Python代码主要涉及文件读取、数据分割和列表操作，将所需数据存入"data1.txt"。 在统计分析阶段，项目采用Scala语言，利用Hadoop和Spark框架进行数据处理。对于最高、最低气温的统计，使用了`groupByKey()`函数将相同年月的数据分组，然后通过`mapValues()`获取最大值和最小值。平均气温的计算则借助`combineByKey()`来合并相同键的值，随后使用`map()`和`sortBy()`分别进行平均值计算和按年月排序。通过`filter()`和`startsWith()`函数筛选出15-25度的气温数据，并按照年份分别存储到三个文件中。 以下是关键代码片段： 1. Python数据清洗： ```python import codecs f = codecs.open('data.txt', 'r', encoding='utf-8') list1 = [] while line: a = line.split() b = a[2:4] list1.append(b) line = f.readline() f.close() text_save('data1.txt', list1) ``` 2. Scala统计分析： ```scala // 省略Spark配置和数据加载部分 val filteredData = data.filter(line => line._2 >= 15 && line._2 <= 25) val year2014 = filteredData.filter(_._1.startsWith("2014")) val year2015 = filteredData.filter(_._1.startsWith("2015")) val year2016 = filteredData.filter(_._1.startsWith("2016")) // 将数据分别保存到相应文件 ``` 这个项目展示了Hadoop和Spark在大数据处理中的应用，包括数据清洗、数据转换、统计计算以及结果输出。通过Python和Scala的组合，实现了对大规模气象数据的高效处理和分析，满足了对全球气温的年度和月度统计需求。同时，项目也强调了数据的可视化呈现，通过报告的形式展示分析结果，提高了数据的可理解性。