# <center>毕业设计-宜居城市信息可视化平台</center>
## 1.数据来源
### 1.1招聘信息
招聘信息的数据来源为智联招聘,首先构造出城市+工作职位的url,以便我们更好的搜索数据和解析页面数据。例如http://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京&kw=java (jl后边的是城市,kw为职位名), 根据此url解析第一页获取工作数量,智联招聘一页最多显示60条工作职位的信息,一共显示90页,所以我们根据获取的工作数量来确定需要抓取数据的页数,条数大于90页的则获取90页,小于90页的则使用实际页数。然后根据页数构建出最终的url:http://sou.zhaopin.com/jobs/searchresult.ashx?jl=北京&kw=java&p=1(p为页码) 。最后抓取每一页上对应具体工作的url所对应的工作信息及其公司信息。统计出最大工资与最小工资的平均工资,中位数工资,以及工资和工作经验的关系等
### 1.2房租信息
房租信息数据主要来源于赶集网,同样首先构建出对应城市url,例如:http://{}.ganji.com/fang1/o{}/ (第一个{}表示城市的汉子拼音首字母,第二个{}为页数),这里我们只抓取30页。统计出该城市有哪些中介公司,房屋的朝向和价格的关系,计算出每平米的价格等等。
### 1.3城市气候信息
气候信息数据主要来源于天气网,构建出的url为http://lishi.tianqi.com/{}/index.html ({}为城市汉子的拼音)。抓取该城市自2011-01-01以来的所有天气信息。统计出对应的历史天气,风向、风力以及每月的气温变化等。
### 1.4空气质量指数信息
AQI信息数据主要来源于中国空气质量在线监测分析平台历史数据网,构建出的url为https://www.aqistudy.cn/historydata/monthdata.php?city=北京
PM2.5历史数据网的数据主要是2013年12月到现在的数据。抓取每个月的数据统计量以及每月对应每天的数据量。统计AQI月变化的趋势以及等级月变化的趋势,统计等级的月数和天数。
### 1.5旅游景点信息
景点信息数据主要来源于欣欣旅游网,构建的url为:http://{}.cncn.com/jingdian/1-{}-0-0.html
(第一个{}为城市名的拼音,第二个{}为页数),首先抓取对应的页数,然后再针对每一页抓取当前城市的所有景点信息。将对应的景点的照片下载到本地,列表展示景点信息,统计出景点的热度排名。
### 1.6美食信息
美食信息数据也来源于欣欣旅游网,构建的url为:http://{}.cncn.com/meishi/index{}.htm (第一个{}为城市名的拼音,第二个{}为页数)。同样先抓取页数,如果所抓取的页数为空,则说明只有一页。抓取该城市的所有美食信息,将美食图片下载到本地,列表展示之,并根据热度进行排名。
## 2.HTML解析器使用的是Jsoup,数据可视化使用的是纯Javascript的图表库ECharts
## 3.反爬虫及去重问题
平台上有相关的代码,但没有实际应用,这里说一下大体思路。对于反爬虫可设置代理IP池,每次解析url地址时,自动设置动态IP代理,在验证IP代理的有效性上,弄三个任务,第一个定时抓取IP代理地址,第二个用来检查代理的可用性,以打开百度为例,如果代理能正常访问百度,则将此代理加入文件或者数据库,否则放弃。第三个负责处理可用,但是已经过期的代理。项目中免费的ip代理的来源有西刺免费代理IP、快代理、开心代理IP平台,但是大多数的代理都不稳定。<br>
对于网页的去重使用的是BloomFilter算法去重策略+单列模式。
没有合适的资源?快使用搜索试试~ 我知道了~
【毕业设计/课程设计】宜居城市信息可视化平台
共618个文件
jpg:392个
java:76个
jar:44个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
5星 · 超过95%的资源 1 下载量 104 浏览量
2022-06-07
15:04:42
上传
评论 3
收藏 22.22MB RAR 举报
温馨提示
【毕业设计/课程设计】宜居城市信息可视化平台 详细项目介绍:https://blog.csdn.net/Seniors_DC/article/details/125223085 可用作毕业设计或者课程设计 通过网络爬虫就城市的招聘、租房、城市的气候、空气质量指数、美食、旅游景点等等数据进行爬取入库,最后再进行数据的分析统计处理,并通过web可视化的方式展现这些信息变化的特征。
资源推荐
资源详情
资源评论
收起资源包目录
【毕业设计/课程设计】宜居城市信息可视化平台 (618个子文件)
IpAddressSearchWebService.class 2KB
ObjectFactory.class 2KB
IpAddressSearchWebServiceSoap.class 1KB
GetCountryCityByIpResponse.class 850B
ArrayOfString.class 842B
GetGeoIPContextResponse.class 832B
GetVersionTimeResponse.class 793B
GetCountryCityByIp.class 757B
GetGeoIPContext.class 500B
GetVersionTime.class 497B
package-info.class 320B
.classpath 4KB
org.eclipse.wst.common.component 560B
org.eclipse.wst.jsdt.ui.superType.container 49B
semantic.min.css 512KB
animate.css 69KB
style.css 3KB
index.css 875B
icons.eot 59KB
691_m.gif 42KB
3725_m.gif 18KB
1115_m.gif 14KB
20669_m.gif 9KB
3727_m.gif 9KB
3749_m.gif 7KB
nopic_210x140.gif 6KB
.gitignore 10B
javaee-api-7.0.jar 1.84MB
aspectjweaver-1.6.11.jar 1.61MB
spring-context-4.0.2.RELEASE.jar 951KB
spring-core-4.0.2.RELEASE.jar 938KB
mysql-connector-java-5.1.30.jar 932KB
jackson-mapper-asl-1.9.13.jar 762KB
mybatis-3.2.6.jar 696KB
spring-beans-4.0.2.RELEASE.jar 653KB
spring-web-4.0.2.RELEASE.jar 649KB
spring-webmvc-4.0.2.RELEASE.jar 645KB
commons-collections-3.2.jar 558KB
javax.mail-1.5.0.jar 510KB
log4j-1.2.17.jar 478KB
hibernate-validator-4.3.0.Final.jar 465KB
spring-test-4.0.2.RELEASE.jar 437KB
spring-jdbc-4.0.2.RELEASE.jar 410KB
jstl-impl.jar 379KB
fastjson-1.1.41.jar 350KB
spring-aop-4.0.2.RELEASE.jar 344KB
jsoup-1.9.2.jar 312KB
commons-httpclient-3.0-rc4.jar 272KB
spring-tx-4.0.2.RELEASE.jar 242KB
commons-lang-2.3.jar 240KB
jackson-core-asl-1.9.13.jar 227KB
spring-expression-4.0.2.RELEASE.jar 200KB
pinyin4j-2.5.0.jar 184KB
commons-beanutils-1.7.0.jar 184KB
commons-io-2.4.jar 181KB
spring-context-support-4.0.2.RELEASE.jar 132KB
json-lib-2.1-jdk15.jar 122KB
commons-dbcp-1.2.2.jar 119KB
ezmorph.jar 84KB
spring-oxm-4.0.2.RELEASE.jar 78KB
activation-1.1.jar 62KB
commons-pool-1.3.jar 61KB
commons-logging-1.1.3.jar 61KB
commons-logging-1.2.jar 60KB
jboss-logging-3.1.0.CR2.jar 59KB
mybatis-spring-1.2.3.jar 50KB
validation-api-1.0.0.GA.jar 46KB
javax.servlet.jsp.jstl.jar 44KB
slf4j-api-1.7.7.jar 29KB
slf4j-log4j12-1.7.7.jar 9KB
aopalliance-1.0.jar 4KB
AqimonthController.java 8KB
HouseSpider.java 7KB
JobSpider.java 7KB
AOI.java 7KB
FoodMS.java 5KB
Job.java 5KB
JobController.java 5KB
ViewSpider.java 5KB
WeatherController.java 4KB
Houses.java 4KB
IpAddressSearchWebService.java 4KB
HousesController.java 4KB
ObjectFactory.java 3KB
Test.java 3KB
Aqimonth.java 3KB
pingying.java 3KB
IpgetCityname.java 3KB
IpAddressSearchWebServiceSoap.java 3KB
IpTest.java 3KB
WeatherServiceImpl.java 3KB
Aqiday.java 3KB
BloomFilter.java 2KB
WeacherMonth.java 2KB
WeatherService.java 2KB
WeatherMapper.java 2KB
Monthweather.java 2KB
AqimonthServiceImpl.java 2KB
CityController.java 2KB
AqimonthService.java 2KB
共 618 条
- 1
- 2
- 3
- 4
- 5
- 6
- 7
资源评论
- m0_617559002022-07-03发现一个宝藏资源,资源有很高的参考价值,赶紧学起来~
普通网友
- 粉丝: 399
- 资源: 6
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功