没有合适的资源?快使用搜索试试~ 我知道了~
scrapy-redis:Scrapy的基于Redis的组件
共68个文件
py:29个
rst:14个
txt:6个
需积分: 21 0 下载量 132 浏览量
2021-02-18
16:49:12
上传
评论
收藏 52KB ZIP 举报
温馨提示
Scrapy-Redis Scrapy的基于Redis的组件。 免费软件:MIT许可证 文档: : 。 Python版本:2.7、3.4+ 特征 分布式抓取/抓取 您可以启动共享单个redis队列的多个蜘蛛实例。 最适合广泛的多域爬网。 分布式后处理 报废的项目将被放入Redis队列中,这意味着您可以启动所需的共享项目队列的后处理流程。 轻巧的即插即用组件 计划程序+复制过滤器,项目管道,基本蜘蛛网。 笔记 此功能涵盖了在多个工作人员之间分配工作负载的基本情况。 如果您需要更多功能,例如URL到期,高级URL优先级设置等,我们建议您看一下项目。 要求 Python 2.7、3.4或3.5 Redis> = 2.8 Scrapy > = 1.1 redis-py > = 2.10 用法 在您的项目中使用以下设置: # Enables scheduling stori
资源推荐
资源详情
资源评论
收起资源包目录
scrapy-redis-master.zip (68个子文件)
scrapy-redis-master
MANIFEST.in 227B
.dockerignore 370B
README.rst 7KB
CONTRIBUTING.rst 3KB
requirements-setup.txt 107B
VERSION 10B
example-project
README.rst 2KB
process_items.py 3KB
Dockerfile 103B
scrapy.cfg 246B
requirements.txt 20B
example
settings.py 923B
pipelines.py 362B
__init__.py 0B
items.py 613B
spiders
dmoz.py 790B
__init__.py 248B
mycrawler_redis.py 845B
myspider_redis.py 630B
docker-compose.yml 142B
.bumpversion.cfg 789B
src
scrapy_redis
defaults.py 658B
pipelines.py 2KB
utils.py 192B
picklecompat.py 242B
__init__.py 197B
dupefilter.py 4KB
scheduler.py 6KB
queue.py 4KB
spiders.py 8KB
connection.py 3KB
requirements-dev.txt 139B
HISTORY.rst 3KB
AUTHORS.rst 160B
.travis.yml 1KB
tox.ini 610B
TODO.rst 767B
pytest.ini 154B
LICENSE 1KB
setup.cfg 76B
requirements-tests.txt 83B
setup.py 2KB
Makefile 4KB
.cookiecutterrc 566B
docs
authors.rst 28B
make.bat 6KB
scrapy_redis.rst 1KB
readme.rst 27B
contributing.rst 33B
conf.py 8KB
installation.rst 1KB
requirements.txt 93B
history.rst 28B
index.rst 475B
Makefile 7KB
modules.rst 73B
requirements-install.txt 96B
.editorconfig 292B
tests
test_scrapy_redis.py 9KB
test_queue.py 1KB
test_picklecompat.py 544B
test_connection.py 2KB
test_package_import.py 156B
test_spiders.py 5KB
test_dupefilter.py 3KB
test_utils.py 213B
.gitignore 751B
.coveragerc 341B
共 68 条
- 1
资源评论
梦小露
- 粉丝: 20
- 资源: 4640
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功