# Fang_Scrapy
这是一个作者毕业设计的爬虫,爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。
This is a web Crawl. I write it for a undergraduate study project.
欢迎使用!
恳请上面网站的鹳狸猿不要和谐我,我没有天天开着爬的~~~
#关于AWK文的使用方法
File_catalog.awk提供了一套处理爬虫数据的算法。算法使用GNU工具awk语言实现。
使用awk程序用此算法处理后数据可以按月和房屋类型拆分为不同文件。
使用方法:
Linux/Unix(或者其他可以使用awk程序的平台)
awk -f [File_catalog.awk的位置] [需要处理的爬虫数据(文件名必须包含xinfang/ershoufang/zufang,数据第一列必须为年月的六位数字如201604)]
# License
请勿用于商业用途!
欢迎Fork,欢迎Watch,欢迎Star!
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
这里为你收集整理了关于毕业设计、课程设计可参考借鉴的资料一份,质量非常高,如果你投入时间去研究几天相信肯定对你有很大的帮助。到时候你会回来感谢我的。 本资源是经过本地编译测试、可打开、可运行的项目、文件或源码,可以用于毕业设计、课程设计的应用、参考和学习需求,请放心下载。 祝愿你在这个毕业设计项目中取得巨大进步,顺利毕业! 但还需强调一下,这些项目源码仅供学习和研究之用。在使用这些资源时,请务必遵守学术诚信原则和相关法律法规,不得将其用于任何商业目的或侵犯他人权益的行为。对于任何因使用本资源而导致的问题,包括但不限于数据丢失、系统崩溃或安全漏洞,风险自担哦! 如有侵权,请联系博主删除。
资源推荐
资源详情
资源评论
收起资源包目录
毕业设计-这是一个作者毕业设计的爬虫爬取58同城赶集网链家安居客我爱我家网站的房价交易数据.zip (128个子文件)
File_catalog.awk 294B
scrapy.cfg 270B
scrapy.cfg 268B
scrapy.cfg 266B
scrapy.cfg 264B
scrapy.cfg 260B
item.json 1B
city.json~ 1B
README.md 872B
startURL.py 3.22MB
startURL.py 2.78MB
startURL_quanguo.py 2.78MB
startURL_quanguo.py 2.54MB
startURL.py 2.54MB
startURL.py 202KB
startURL_quanguo.py 198KB
startURL.py 121KB
startURL_cs.py 11KB
startURL_cs.py 9KB
ershoufangLianjia.py 6KB
startURL_cs.py 6KB
pipelines.py 6KB
ershoufangAnjuke.py 5KB
pipelines.py 5KB
pipelines.py 5KB
zufangGanji.py 4KB
ershoufangGanji.py 4KB
zufangLianjia.py 4KB
xinfangGanji.py 4KB
pipelines.py 4KB
pipelines.py 4KB
settings.py 3KB
settings.py 3KB
settings.py 3KB
settings.py 3KB
ershoufang.py 3KB
ershoufang5i5j.py 3KB
settings.py 3KB
zufang.py 3KB
xinfangLianjia.py 3KB
xinfangAnjuke.py 2KB
zufang5i5j.py 2KB
xinfang5i5j.py 977B
items.py 784B
items.py 744B
cityAnjuke.py 717B
items.py 714B
items_cp.py 714B
items.py 673B
city5i5j.py 664B
cityGanji.py 638B
city.py 637B
items.py 637B
city.py 618B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 0B
__init__.py 0B
__init__.py 0B
__init__.py 0B
__init__.py 0B
startURL_quanguo.pyc 2.51MB
startURL_quanguo.pyc 190KB
startURL_quanguo.pyc 121KB
startURL.pyc 121KB
startURL.pyc 11KB
startURL_cs.pyc 10KB
startURL.pyc 9KB
startURL_cs.pyc 6KB
startURL.pyc 6KB
pipelines.pyc 5KB
pipelines.pyc 5KB
pipelines.pyc 4KB
pipelines.pyc 4KB
zufangGanji.pyc 3KB
ershoufangGanji.pyc 3KB
xinfangGanji.pyc 3KB
ershoufangLianjia.pyc 3KB
xinfangLianjia.pyc 3KB
zufangLianjia.pyc 3KB
ershoufang5i5j.pyc 3KB
ershoufang.pyc 3KB
zufang.pyc 3KB
zufang5i5j.pyc 2KB
xinfangAnjuke.pyc 2KB
xinfang5i5j.pyc 1KB
city5i5j.pyc 1KB
city.pyc 1KB
cityGanji.pyc 1KB
city.pyc 1KB
items.pyc 857B
items.pyc 805B
items.pyc 797B
items.pyc 751B
items.pyc 714B
settings.pyc 517B
settings.pyc 505B
共 128 条
- 1
- 2
资源评论
高校毕业设计
- 粉丝: 184
- 资源: 385
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功