没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论














信息工程学院
课程设计报告
(2022-2023 学年第一学期)
课 程: Spark 大数据
题 目: 基于 spark 的气象数据处理与分析
专业班级: 大数据 201
姓 名: xxx
指导教师: xxx
完成周数: 11 周-16 周
2022 年 12 月 12 日

目录
一 、项目背景 ............................................3
二 、实验环境 ............................................3
三 、实验数据来源 ........................................4
四 、数据获取 ............................................5
五 、数据分析 ...........................................17
六 、数据可视化 .........................................21
七 、总结 ...............................................23

一、项目背景
天气情况与各个行业的经营发展有密不可分的关系,通时也与人
们日常出行有一定的关联。当前天气预报技术主要利用先进的数据分
析技术进行预测播报,但实际准确度与时效性依然无法满足当下社会
需求。大数据时代的到来使得整个数据分析的过程更为科学合理,同
时气象数据中隐含的价值被挖掘与应用,天气预报的应用意义得到进
一步的开发。
天气预报的主要内容是一个地区或城市未来一段时期内的阴晴
雨雪、最高最低温、风向和风力及特殊的灾害性天气。就中国而言,
气象台准确预报寒潮、台风、暴雨等自然灾害出现的出现和强度,就
可以直接为工农业生产和群众生活服务。随着生产力的发展和科学技
术的进步,人类活动范围空前扩大,对大自然的影响也越来越大,因
而天气预报就成为现代社会不可缺少的重要信息。
天气预报是根据气象观测资料,应用天气学、动力气象学、统计
学的原理和方法,对某区域或某地点未来一定时段的天气状况作出定
性或定量的预测。它是大气研究科学的一个重要目标。对人们生活有
重要意义。
简而言之,气象数据的可视化是为了方便人们更直观的了解当前
的天气情况,大大的降低了使用的困难程度,并且也降低了对于期限
数据理解的难度。不管是对于使用者还是消费者来讲,都是一大利好。
二、实验环境

(1)Linux:Ubuntu 16.04
(2)Python:3.9
(3)Spark:2.4.0
(4)Jupyter Notebook
安装完上述环境以后,为了支持 Python 可视化分析,还需要执
行如下命令安装新的组件:
sudo apt-get install python3-matplotlib
sudo apt-get install python3-tk
三、实验数据来源
本次实验所采用的数据,从中央气象台官方网站( 网 址 :
http://www.nmc.cn/)爬取,主要是最近 24 小时各个城市的天气数
据,包括时间点(整点)、整点气温、整点降水量、风力、整点气压、
相对湿度等。正常情况下,每个城市会对应 24 条数据(每个整点一
条)。数据规模达到 2412 个城市,57888 条数据,有部分城市部分
时间点数据存在缺失或异常。限于本次大作业时间有限,没有办法全
面分析这些数据,大作业中主要计算分析了各个城市过去 24 小时的
平均气温和降水量情况。
剩余29页未读,继续阅读
资源评论

肉肉肉肉肉肉~丸子
- 粉丝: 46
- 资源: 104

上传资源 快速赚钱
我的内容管理 收起
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助

会员权益专享
安全验证
文档复制为VIP权益,开通VIP直接复制
