# Fang_Scrapy
这是一个作者毕业设计的爬虫，爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。
This is a web Crawl. I write it for a undergraduate study project.
欢迎使用！
恳请上面网站的鹳狸猿不要和谐我，我没有天天开着爬的～～～
#关于AWK文的使用方法
File_catalog.awk提供了一套处理爬虫数据的算法。算法使用GNU工具awk语言实现。
使用awk程序用此算法处理后数据可以按月和房屋类型拆分为不同文件。
使用方法：
Linux/Unix（或者其他可以使用awk程序的平台）
awk -f [File_catalog.awk的位置] [需要处理的爬虫数据（文件名必须包含xinfang/ershoufang/zufang，数据第一列必须为年月的六位数字如201604）]
# License
请勿用于商业用途！
欢迎Fork，欢迎Watch，欢迎Star！
精品--这是一个作者毕业设计的爬虫，爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。.zip
需积分: 5 91 浏览量
2024-02-05
19:27:49
上传
评论
收藏 2.45MB ZIP 举报
精品--这是一个作者毕业设计的爬虫，爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。.zip （128个子文件） 
File_catalog.awk 294B scrapy.cfg 270B scrapy.cfg 268B scrapy.cfg 266B scrapy.cfg 264B scrapy.cfg 260B item.json 1B city.json~ 1B README.md 872B startURL.py 3.22MB startURL_quanguo.py 2.78MB startURL.py 2.78MB startURL_quanguo.py 2.54MB startURL.py 2.54MB startURL.py 202KB startURL_quanguo.py 198KB startURL.py 121KB startURL_cs.py 11KB startURL_cs.py 9KB ershoufangLianjia.py 6KB startURL_cs.py 6KB pipelines.py 6KB ershoufangAnjuke.py 5KB pipelines.py 5KB pipelines.py 5KB zufangGanji.py 4KB ershoufangGanji.py 4KB zufangLianjia.py 4KB xinfangGanji.py 4KB pipelines.py 4KB pipelines.py 4KB settings.py 3KB settings.py 3KB settings.py 3KB settings.py 3KB ershoufang.py 3KB ershoufang5i5j.py 3KB settings.py 3KB zufang.py 3KB xinfangLianjia.py 3KB xinfangAnjuke.py 2KB zufang5i5j.py 2KB xinfang5i5j.py 977B items.py 784B items.py 744B cityAnjuke.py 717B items.py 714B items_cp.py 714B items.py 673B city5i5j.py 664B cityGanji.py 638B city.py 637B items.py 637B city.py 618B __init__.py 161B __init__.py 161B __init__.py 161B __init__.py 161B __init__.py 161B __init__.py 0B __init__.py 0B __init__.py 0B __init__.py 0B __init__.py 0B startURL_quanguo.pyc 2.51MB startURL_quanguo.pyc 190KB startURL_quanguo.pyc 121KB startURL.pyc 121KB startURL.pyc 11KB startURL_cs.pyc 10KB startURL.pyc 9KB startURL_cs.pyc 6KB startURL.pyc 6KB pipelines.pyc 5KB pipelines.pyc 5KB pipelines.pyc 4KB pipelines.pyc 4KB zufangGanji.pyc 3KB ershoufangGanji.pyc 3KB xinfangGanji.pyc 3KB ershoufangLianjia.pyc 3KB xinfangLianjia.pyc 3KB zufangLianjia.pyc 3KB ershoufang5i5j.pyc 3KB ershoufang.pyc 3KB zufang.pyc 3KB zufang5i5j.pyc 2KB xinfangAnjuke.pyc 2KB xinfang5i5j.pyc 1KB city5i5j.pyc 1KB city.pyc 1KB cityGanji.pyc 1KB city.pyc 1KB items.pyc 857B items.pyc 805B items.pyc 797B items.pyc 751B items.pyc 714B settings.pyc 517B settings.pyc 505B共 128 条
- 1
- 2
资源评论
