没有合适的资源?快使用搜索试试~ 我知道了~
基于Python的空气质量分析与实践.doc
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 4 浏览量
2023-09-09
14:15:15
上传
评论
收藏 903KB DOC 举报
温馨提示
试读
36页
基于Python的空气质量分析与实践.doc
资源推荐
资源详情
资源评论
摘要
本篇文章利用了 Python 爬虫技术对空气质量网站的数据进行获取,
获取之后把数据生成 CSV 格式的文件,然后再存入数据库方便保存。再
从之前 24 小时的 AQI(空气质量指数)的平均值中进行分析,把数据取
出来后,对数据进行数据清洗,最后将数据提取出来做可视化的分析。
在对数据的获取的过程中,使用了 Python 的 request 去获取 html 的
一个文本,然后利用正则表达式 re 库和 beautifulSoup 这两个库去对数据
进行筛选,拿到自己需要的一些空气质量的数据,并且同时写入 CSV 文
件。
在对数据进行存储、分类时,利用了 Python 的 sqlalchemy 这个库,
对写入 CSV 的数据去存进数据库,更简单直接的保存大群数据,然后再
使用 pandas 这个库去读取数据库里面的数据,并且读取的数据可以直接
去清洗、分类。
在数据可视化的步骤中,则用 matplotlib 和 pyecharts 这两个库去将
想要分析的数据进行可视化,绘制成条形图,方便比较各个城市的空气
质量差异,将当天空气最好的前十五个城市可视化出来,并且通过
K-means 聚类算法等去分析城市的一些空气质量受到影响的原因,以及
对应的治理措施。
关键词: Python;爬虫;数据分析;数据库;数据可视化
目 录
第 1 章 绪 论 ...............................................1
1.1 课题的研究背景及意义...................................1
1.2 互联网数据及其分析的研究现状...........................1
1.3 论文主要研究内容及框架结构.............................2
第 2 章 需求分析 .............................................3
2.1 功能性需求分析.........................................3
2.2 非功能性需求分析.......................................3
第 3 章 介绍 BeautifulSoup 与爬虫的一些事项 ....................4
3.1 BeautifulSoup 简介.......................................4
3.2 关于爬虫的一些注意事项以及对空气质量数据的搜集.........4
3.2.1 区分恶意爬虫和普通爬虫.............................4
3.2.2 关于反爬虫的一些介绍...............................5
3.2.3 对空气质量以及对应城市数据的爬取...................6
第 4 章 数据处理工具与算法介绍 ...............................9
4.1 Pandas 模块介绍 ........................................9
4.2 SQLAlchemy 模块简介及应用 .............................9
4.3 关于 Pyecharts .........................................10
4.4 K-means 算法介绍 ......................................10
第 5 章 数据的可视化介绍及数据分析 ..........................11
5.1 空气质量最好的前 15 个城市排名展示.....................12
5.2 空气质量最差的前 15 个城市展示.........................12
5.3 以地区分析城市空气质量好的特点........................13
5.4 以地区分析城市空气质量差的特点........................14
5.5 污染物占比的可视化....................................15
5.6 通过 K-means 聚类算法的分析结果 .......................15
第 6 章 总结与展望 ..........................................19
6.1 总结..................................................19
广东东软学院本科生毕业设计(论文)
1
第 1 章 绪 论
1.1 课题的研究背景及意义
随着经济的高速发展,空气质量这一生存的大问题显得越来越重要,我们以前
发展太多重工业的时候,已经牺牲了很多的空气环境,到现在由于空气质量引发的
一系列问题比比皆是,所以我们现在要注重空气的质量去保护环境。特别是现在网
络飞速发展的时代,我们可以随时随地就能获取到各地的空气质量的信息,方便我
们去了解各地的空气质量以及对空气质量进行及时的控制,让空气质量保持在一个
比较良好的范围。大气污染状况是与我们每一个人的健康情况息息相关的,我们每
一个人都有责任去保护我们的地球,因此普及一些空气污染的后果以及如何遏制这
种提高空气质量具有重大意义。通过空气质量分析,可以使更多人了解大气污染重
的地区以及原因,使大家增强环境保护意识,提高公众的科学素养,便于公众在线
阅读及参与。收集全省各地市空气自动监测点位的实时发布数据,储存进空气质量
搜集的数据库。这些数据不但可以呈现给用户们每个城市实时的一些空气质量信息,
也可以把获取到的数据储存起来,方便以后去收集利用,还可以把这些数据给有关
的保护环境的部门,作为整治空气环境的理由。所以对空气质量的关注是很有必要
的。
1.2 互联网数据及其分析的研究现状
随着互联网技术及应用的高速发展,我们也越来越容易的可以在网上获得我们
所需要的一些数据,在每个行业都拥有着非常海量的数据。数据量的愈发增大而导
致分析这些空气质量数据难度也会变得更大,因此出现了一方面不断地产生大量数
据,另一方面有许多的原因导致了没有办法及时去利用刚刚收集到的海量的数据,
然后对这些数据造成了浪费。数据的可视化技术可以说正好挽救了这种数据的浪费,
高效率的从数据里面获取需要的东西,现代的数据可视化技术是把存进数据库里非
常海量的数据提取出来,以非常直接、人们直接看明白的图像的形式展示给使用者,
以方便在广大的数据里去寻找人们自己需要的数据,而且数据能一眼看出来,不需
要逐条的去分析,省时省力。
图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个领域。在 2010
年 NASA 发布了由加 拿 大达尔豪斯 大学 的 研究 人员 Aaronvan Daniela 和 Randall
广东东软学院本科生毕业设计(论文)
2
Martin 将两台卫星仪器监测仪器得到的气溶胶总量数据相加,并且与电脑模型计算
出的气溶胶垂直分布量结合在一起。
1.3 论文主要研究内容及框架结构
本文主要分析了全国各个城市的空气质量,主要为号召大家对空气较差的城市
进行一些改善,使大家的生活环境能够变好,而且分析一些城市空气质量好的原因
以及地域分布,使用爬虫对每个城市的空气质量数据进行获取。
同时围绕城市空气质量的获取及其分析结果可视化,进行的一系列工作主要有如下:
(1) 分析 pm25.in 这个天气网站,爬取此站一天的 AQI 值,然后写入 CSV 文件进
行行列的数据整理,然后再将 CSV 文件写入数据库。
(2) 对存储的数据进行结果分析,并将其可视化。可视化过程将利用目前较为流
行 Pandas 与 PyEcharts 工具进行组合呈现数据分析结果,并在一定程度上验证数据
的正确性,从多个角度分析一些空气质量好的城市的共同点以及原因,和一些空气
质量差的城市的共同点及原因。
本文的大概结构如下:
第 1 章概述介绍了对空气质量分析的意义,以及对搜集数据到分析数据的一些
简略介绍,还有介绍了如今数据分析日渐提升的地位。
第 3 章主要介绍 Python 爬虫的一些知识,介绍在本文使用的一些爬虫类库,以
及对爬虫的一些科普,让大家认识到使用恶意爬虫的一些危害以及后果,对网络有
着更深的法律意识,本文还讲到对空气质量爬取的一些做法,为下文可视化提供数
据。
第 4 章和第 5 章介绍了一些储存数据的工具、清洗数据的工具和可视化工具,
以及聚类算法介绍。针对从网上获取的数据进行数据的保存、清洗并且可视化,并
在可视化数据过程中讨论空气质量好的城市的分布情况以及空气质量差的城市的分
布规律,并且将好的城市和空气质量差的城市排列出来,接着分析空气质量差的城
市所受到的污染物的影响。
第 6 章为设计的总结与展望。总结了本文关于空气质量分析与可视化研究成果,
并指出我这次数据分析过程中仍需解决的问题和可拓展的功能实现。
剩余35页未读,继续阅读
资源评论
南抖北快东卫
- 粉丝: 72
- 资源: 5584
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功