没有合适的资源?快使用搜索试试~ 我知道了~
house_spider:Lianjia house spider链家二手房爬虫~ Springboot + Webmagic ...
共28个文件
java:19个
properties:2个
md:1个
需积分: 18 6 下载量 166 浏览量
2021-05-14
04:44:05
上传
评论 3
收藏 80KB ZIP 举报
温馨提示
house_spider Lianjia house spider链家二手房爬虫~ Springboot + Webmagic + Mysql + Redis 简介 - 基于Java8 +、开源爬虫框架WebMagic、Springboot的一个链家爬虫,上手即用,可以指定需要爬取的城市名称、或者爬取全国。 - 数据存Mysql,默认根据搜索城市+日期自动建表,如搜索“南京”,则会通过JDBC新建表:“南京_20191127” - 没有用WebMagic的Pipeline来存DB,而是直接用JDBC存的,默认爬虫线程数为1,每翻页1页批量插入Mysql。 - 由于链家限制爬取页数为100页,所以一个城市下,先查出所有行政区,再遍历行政区下的所有街道,以每个街道为单位,进行最大100页的爬取,这样基本上能爬下城市的所有房源数据。(部分别墅、车位直接忽略没存DB) 使用 基础依赖:安装mysq
资源推荐
资源详情
资源评论
收起资源包目录
house_spider-master.zip (28个子文件)
house_spider-master
pom.xml 3KB
mvnw 9KB
citys.json 4KB
src
main
resources
application.properties 743B
java
com
flowingbit
data
collect
house_spider
HouseSpiderApplication.java 430B
dao
RedisDAO.java 4KB
HouseDao.java 8KB
model
City.java 743B
Region.java 746B
House.java 5KB
Street.java 766B
controller
SpiderController.java 2KB
service
processor
StreetProcessor.java 5KB
HouseProcessor.java 10KB
RegionProcessor.java 4KB
CityProcessor.java 4KB
cron
CronSpider.java 938B
SpiderService.java 6KB
email
EmailService.java 5KB
utils
StringUtil.java 525B
SerializeUtil.java 880B
IOUtil.java 2KB
.gitignore 311B
.mvn
wrapper
maven-wrapper.jar 47KB
MavenWrapperDownloader.java 5KB
maven-wrapper.properties 116B
README.md 1KB
mvnw.cmd 6KB
共 28 条
- 1
资源评论
八普
- 粉丝: 34
- 资源: 4551
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功