# Fang_Scrapy
这是一个作者毕业设计的爬虫,爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。
This is a web Crawl. I write it for a undergraduate study project.
欢迎使用!
恳请上面网站的鹳狸猿不要和谐我,我没有天天开着爬的~~~
#关于AWK文的使用方法
File_catalog.awk提供了一套处理爬虫数据的算法。算法使用GNU工具awk语言实现。
使用awk程序用此算法处理后数据可以按月和房屋类型拆分为不同文件。
使用方法:
Linux/Unix(或者其他可以使用awk程序的平台)
awk -f [File_catalog.awk的位置] [需要处理的爬虫数据(文件名必须包含xinfang/ershoufang/zufang,数据第一列必须为年月的六位数字如201604)]
# License
请勿用于商业用途!
欢迎Fork,欢迎Watch,欢迎Star!
免责声明:
1.本资源仅供学习和交流使用,不保证其准确性、完整性、及时性或适用性。
2.本资源仅包含一般信息,不构成专业建议。在使用本资源时,请务必自行研究并谨慎决策。
3.我已尽力确保本资源的正确性和合法性,但不对其准确性、完整性和及时性做出保证。
4.本资源不应用于商业用途。
5.在使用本资源的过程中,用户应自行承担所有风险和责任,并遵守相关法律法规。
6.对于因使用本资源而产生的任何损失或损害,我概不负责。
请确保在使用本资源时仔细阅读并遵守以上免责声明。如果您有任何疑问或需要进一步帮助,请联系我。
没有合适的资源?快使用搜索试试~ 我知道了~
基于Python的毕业设计的爬虫爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据.zip
共128个文件
py:55个
pyc:49个
py~:6个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 33 浏览量
2024-02-25
14:51:36
上传
评论
收藏 2.46MB ZIP 举报
温馨提示
基于Python的毕业设计的爬虫爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据.zip 这是一个作者毕业设计的爬虫,爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。 This is a web Crawl. I write it for a undergraduate study project. 欢迎使用! 恳请上面网站的鹳狸猿不要和谐我,我没有天天开着爬的~~~ #关于AWK文的使用方法 File_catalog.awk提供了一套处理爬虫数据的算法。算法使用GNU工具awk语言实现。 使用awk程序用此算法处理后数据可以按月和房屋类型拆分为不同文件。 使用方法: Linux/Unix(或者其他可以使用awk程序的平台) awk -f [File_catalog.awk的位置] [需要处理的爬虫数据(文件名必须包含xinfang/ershoufang/zufang,数据第一列必须为年月的六位数字如201604)]
资源推荐
资源详情
资源评论
收起资源包目录
基于Python的毕业设计的爬虫爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据.zip (128个子文件)
File_catalog.awk 294B
scrapy.cfg 270B
scrapy.cfg 268B
scrapy.cfg 266B
scrapy.cfg 264B
scrapy.cfg 260B
item.json 1B
city.json~ 1B
README.md 2KB
startURL.py 3.22MB
startURL.py 2.78MB
startURL_quanguo.py 2.78MB
startURL_quanguo.py 2.54MB
startURL.py 2.54MB
startURL.py 202KB
startURL_quanguo.py 198KB
startURL.py 121KB
startURL_cs.py 11KB
startURL_cs.py 9KB
ershoufangLianjia.py 6KB
startURL_cs.py 6KB
pipelines.py 6KB
ershoufangAnjuke.py 5KB
pipelines.py 5KB
pipelines.py 5KB
zufangGanji.py 4KB
ershoufangGanji.py 4KB
zufangLianjia.py 4KB
xinfangGanji.py 4KB
pipelines.py 4KB
pipelines.py 4KB
settings.py 3KB
settings.py 3KB
settings.py 3KB
settings.py 3KB
ershoufang.py 3KB
ershoufang5i5j.py 3KB
settings.py 3KB
zufang.py 3KB
xinfangLianjia.py 3KB
xinfangAnjuke.py 2KB
zufang5i5j.py 2KB
xinfang5i5j.py 977B
items.py 784B
items.py 744B
cityAnjuke.py 717B
items.py 714B
items_cp.py 714B
items.py 673B
city5i5j.py 664B
cityGanji.py 638B
city.py 637B
items.py 637B
city.py 618B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 0B
__init__.py 0B
__init__.py 0B
__init__.py 0B
__init__.py 0B
startURL_quanguo.pyc 2.51MB
startURL_quanguo.pyc 190KB
startURL_quanguo.pyc 121KB
startURL.pyc 121KB
startURL.pyc 11KB
startURL_cs.pyc 10KB
startURL.pyc 9KB
startURL_cs.pyc 6KB
startURL.pyc 6KB
pipelines.pyc 5KB
pipelines.pyc 5KB
pipelines.pyc 4KB
pipelines.pyc 4KB
zufangGanji.pyc 3KB
ershoufangGanji.pyc 3KB
xinfangGanji.pyc 3KB
ershoufangLianjia.pyc 3KB
xinfangLianjia.pyc 3KB
zufangLianjia.pyc 3KB
ershoufang5i5j.pyc 3KB
ershoufang.pyc 3KB
zufang.pyc 3KB
zufang5i5j.pyc 2KB
xinfangAnjuke.pyc 2KB
xinfang5i5j.pyc 1KB
city5i5j.pyc 1KB
city.pyc 1KB
cityGanji.pyc 1KB
city.pyc 1KB
items.pyc 857B
items.pyc 805B
items.pyc 797B
items.pyc 751B
items.pyc 714B
settings.pyc 517B
settings.pyc 505B
共 128 条
- 1
- 2
资源评论
武昌库里写JAVA
- 粉丝: 3136
- 资源: 1872
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功