# MeteorologicalAnalyses
利用Spark对气象监测数据进行基本的分析
## 目录说明
1. `./analyses` 数据分析的结果，以csv格式存放
2. `./data` 原数据，包括预处理好的`preprocessed*.csv`
3. `./source` 源代码
- `/Jupyter` 数据预处理与可视化
- `/Scala-Spark-DataAnalyze` Spark数据分析代码
## 感谢
本分析项目参考了以下文章，感谢这个文章给了我个思路：
* [基于Spark的气象监测数据分析 - 厦门大学数据库实验室](https://dblab.xmu.edu.cn/blog/3654/)
利用Spark对气象监测数据进行基本的分析（源码+项目说明）.zip
版权申诉
151 浏览量
2024-03-09
22:05:11
上传
评论
收藏 1.59MB ZIP 举报
利用Spark对气象监测数据进行基本的分析（源码+项目说明）.zip （57个子文件） 
code_20105 data 
preprocessed_by_day.csv 24KB data1.csv 1.43MB data2.csv 23KB preprocessed.csv 1.68MB res.csv 1.26MB analyses top10_concentration_O3 part-00000-e92260e0-487c-4296-b12f-6df9d2ab158d-c000.csv 296B _SUCCESS 0B aqi_calc_res part-00000-7bb0d41b-8a82-4389-bc0e-bd06172e10d6-c000.csv 44KB _SUCCESS 0B top10_concentration_NO2 part-00000-4d567b7a-6cec-4298-abdd-c1c7e725102b-c000.csv 297B _SUCCESS 0B pm10_iaqi_count part-00003-69927492-6893-4d13-b8f4-f601fe361b9b-c000.csv 18B part-00001-69927492-6893-4d13-b8f4-f601fe361b9b-c000.csv 20B part-00002-69927492-6893-4d13-b8f4-f601fe361b9b-c000.csv 20B part-00004-69927492-6893-4d13-b8f4-f601fe361b9b-c000.csv 17B part-00000-69927492-6893-4d13-b8f4-f601fe361b9b-c000.csv 16B part-00006-69927492-6893-4d13-b8f4-f601fe361b9b-c000.csv 17B _SUCCESS 0B part-00005-69927492-6893-4d13-b8f4-f601fe361b9b-c000.csv 17B part-00007-69927492-6893-4d13-b8f4-f601fe361b9b-c000.csv 17B pm25_iaqi_count part-00004-967c64ec-d940-46f2-bdf9-bc394481150e-c000.csv 18B part-00000-967c64ec-d940-46f2-bdf9-bc394481150e-c000.csv 17B part-00005-967c64ec-d940-46f2-bdf9-bc394481150e-c000.csv 17B part-00001-967c64ec-d940-46f2-bdf9-bc394481150e-c000.csv 20B part-00003-967c64ec-d940-46f2-bdf9-bc394481150e-c000.csv 19B part-00006-967c64ec-d940-46f2-bdf9-bc394481150e-c000.csv 17B part-00002-967c64ec-d940-46f2-bdf9-bc394481150e-c000.csv 20B part-00007-967c64ec-d940-46f2-bdf9-bc394481150e-c000.csv 17B _SUCCESS 0B top10_concentration_SO2 part-00000-d3828816-e2ae-48ab-b778-306a8cb75344-c000.csv 287B _SUCCESS 0B pollutant_average part-00000-e3d62509-406d-44a3-86a3-a4acea2bf1ee-c000.csv 254B _SUCCESS 0B correlation_res part-00000-117de8cf-1473-4e59-9321-ee6ffe3d973f-c000.csv 168B _SUCCESS 0B top10_concentration_CO _SUCCESS 0B part-00000-e5c8079b-5bca-41c1-ac53-debbe6d79b10-c000.csv 275B top10_concentration_PM2.5 part-00000-e89c89ae-4682-45fd-aed2-3baf9c241ab0-c000.csv 299B _SUCCESS 0B top10_concentration_PM10 part-00000-86bcb534-4a0f-4c6a-b932-033cd7cb7212-c000.csv 298B _SUCCESS 0B source Scala-Spark-DataAnalyze pom.xml 3KB src main java indi somebottle Analysis2.scala 1KB Analysis4.scala 4KB Analysis5.scala 1KB Analysis1.scala 1KB Analysis3.scala 3KB SparkBridge.scala 619B Jupyter Visualization3-PM10.ipynb 46KB DataPreprocess meteorology.ipynb 34KB meteorology-forData2.ipynb 19KB Visualization1.ipynb 25KB Visualization3-PM2_5.ipynb 54KB Visualization2.ipynb 66KB Visualization4.ipynb 102KB .gitignore 116B README.md 557B资源评论
