# Fang_Scrapy
这是一个作者毕业设计的爬虫,爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。
This is a web Crawl. I write it for a undergraduate study project.
欢迎使用!
恳请上面网站的鹳狸猿不要和谐我,我没有天天开着爬的~~~
#关于AWK文的使用方法
File_catalog.awk提供了一套处理爬虫数据的算法。算法使用GNU工具awk语言实现。
使用awk程序用此算法处理后数据可以按月和房屋类型拆分为不同文件。
使用方法:
Linux/Unix(或者其他可以使用awk程序的平台)
awk -f [File_catalog.awk的位置] [需要处理的爬虫数据(文件名必须包含xinfang/ershoufang/zufang,数据第一列必须为年月的六位数字如201604)]
# License
请勿用于商业用途!
欢迎Fork,欢迎Watch,欢迎Star!
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
Python是一种高级、通用、解释型的编程语言,由Guido van Rossum于1989年发起,1991年正式发布。Python以简洁而清晰的语法著称,强调代码的可读性和易于维护。以下是Python的一些主要特点和优势: 易学易用: Python的语法设计简单直观,更接近自然语言,使初学者更容易上手。这种易学易用的特性促使了Python在教育领域和初学者中的广泛应用。 高级语言: Python是一种高级编程语言,提供了自动内存管理(垃圾回收)等功能,减轻了程序员的负担,同时具有动态类型和面向对象的特性。 跨平台性: Python具有很好的跨平台性,可以在多个操作系统上运行,包括Windows、Linux、macOS等,使得开发的代码可以轻松迁移。 丰富的标准库: Python内置了大量的模块和库,涵盖了文件操作、网络编程、数据库访问等各个方面。这些标准库使得开发者能够快速构建功能丰富的应用程序。 开源: Python是开源的,任何人都可以免费使用并查看源代码。这种开放性促进了Python社区的发展,使得有大量的第三方库和框架可供使用。 强大的社区支持: Python拥有庞大而活跃的开发社区,这使得开发者可以轻松获取帮助、分享经验,并参与到Python的发展中。 适用于多个领域: Python在各种领域都有广泛的应用,包括Web开发、数据科学、人工智能、自动化测试、网络编程等。特别是在数据科学和人工智能领域,Python成为了主流的编程语言之一。 支持面向对象编程: Python支持面向对象编程,允许开发者使用类和对象的概念,提高了代码的重用性和可维护性。
资源推荐
资源详情
资源评论
收起资源包目录
这是一个作者毕业设计的爬虫,爬取58同城、赶集网、链家、安居客、我爱我家网站的房价交易数据。.zip (128个子文件)
File_catalog.awk 294B
scrapy.cfg 270B
scrapy.cfg 268B
scrapy.cfg 266B
scrapy.cfg 264B
scrapy.cfg 260B
item.json 1B
city.json~ 1B
README.md 872B
startURL.py 3.22MB
startURL_quanguo.py 2.78MB
startURL.py 2.78MB
startURL.py 2.54MB
startURL_quanguo.py 2.54MB
startURL.py 202KB
startURL_quanguo.py 198KB
startURL.py 121KB
startURL_cs.py 11KB
startURL_cs.py 9KB
ershoufangLianjia.py 6KB
startURL_cs.py 6KB
pipelines.py 6KB
ershoufangAnjuke.py 5KB
pipelines.py 5KB
pipelines.py 5KB
zufangGanji.py 4KB
ershoufangGanji.py 4KB
zufangLianjia.py 4KB
xinfangGanji.py 4KB
pipelines.py 4KB
pipelines.py 4KB
settings.py 3KB
settings.py 3KB
settings.py 3KB
settings.py 3KB
ershoufang.py 3KB
ershoufang5i5j.py 3KB
settings.py 3KB
zufang.py 3KB
xinfangLianjia.py 3KB
xinfangAnjuke.py 2KB
zufang5i5j.py 2KB
xinfang5i5j.py 977B
items.py 784B
items.py 744B
cityAnjuke.py 717B
items.py 714B
items_cp.py 714B
items.py 673B
city5i5j.py 664B
cityGanji.py 638B
city.py 637B
items.py 637B
city.py 618B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 161B
__init__.py 0B
__init__.py 0B
__init__.py 0B
__init__.py 0B
__init__.py 0B
startURL_quanguo.pyc 2.51MB
startURL_quanguo.pyc 190KB
startURL_quanguo.pyc 121KB
startURL.pyc 121KB
startURL.pyc 11KB
startURL_cs.pyc 10KB
startURL.pyc 9KB
startURL_cs.pyc 6KB
startURL.pyc 6KB
pipelines.pyc 5KB
pipelines.pyc 5KB
pipelines.pyc 4KB
pipelines.pyc 4KB
zufangGanji.pyc 3KB
ershoufangGanji.pyc 3KB
xinfangGanji.pyc 3KB
ershoufangLianjia.pyc 3KB
xinfangLianjia.pyc 3KB
zufangLianjia.pyc 3KB
ershoufang5i5j.pyc 3KB
ershoufang.pyc 3KB
zufang.pyc 3KB
zufang5i5j.pyc 2KB
xinfangAnjuke.pyc 2KB
xinfang5i5j.pyc 1KB
city5i5j.pyc 1KB
city.pyc 1KB
cityGanji.pyc 1KB
city.pyc 1KB
items.pyc 857B
items.pyc 805B
items.pyc 797B
items.pyc 751B
items.pyc 714B
settings.pyc 517B
settings.pyc 505B
共 128 条
- 1
- 2
资源评论
JJJ69
- 粉丝: 6222
- 资源: 5780
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功