链家二手房1
需积分: 0 133 浏览量
2022-08-08
17:58:05
上传
评论
收藏 102KB DOCX 举报
链家二手房
爬虫结构[ 类名 | 爬虫名 | 类所在模块]
• LianjiaUsedSpider | used_list
|/lianjia_ershoufang/spiders/lianjia_used.py
• LianjiaUsedDetailsSpider | used_details
|/lianjia_ershoufang/spiders/lianjia_used.py
爬虫说明
• used_list ：获取房源链接，将获取到的链接推倒Redis中。
◦ 爬虫参数：[ city : 爬取城市名称简写]
◦ 是否分布式：否
• scrapy crawl used_list -a city=bj/tj/sz爬虫中，
参数city 使用 '/' 作为分隔符，城市名称列表见其他
• used_details： 根据Redis 中的链接，获取房源详细信息，
存储到数据库中。获得房源数据 保存到 used_house
表中， 获取到图片链接信息 保存到 up_img_index 表
中。
◦ 爬虫参数：无
◦ 是否分布式：是
• scrapy crawl used_details根据需求多开即可，前提是先
开 used_lis 爬虫获取链接
数据流
1、used_list 获取房源链接 > 存入Redis 中。
2、used_detail 从Redis 中获取房源链接 > 爬取房源，入
库。
AIAlchemist
- 粉丝: 58
- 资源: 305
最新资源
- cleanflight-2.5.0-CC3D
- 实验二 模拟信号数字化传输系统的建模与分析
- cleanflight-2.5.0-CC3D-OPBL.bin
- python大数据-使用Python的Pandas库和Matplotlib库
- 8051Proteus仿真c源码演奏一段音阶
- yolov8-pose 训练权重的文件
- python文本数据可视化案例-使用Python的Matplotlib库和WordCloud库来可视化文本数据
- Mars3D三维可视化平台,是一款支持多行业应用的网页端二三维GIS可视化地图平台 支持无插件轻量级的系统运行方式
- 8051Proteus仿真c源码温度控制直流电机转速
- python可视化-数据分析可视化&地理空间数据可视化
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0