scrapy-redis
Python
Python
共64个文件
py: 25
rst: 14
txt: 6
cfg: 3
yml: 2
ini: 2
cookiecutterrc: 1
coveragerc: 1
dockerignore: 1
editorconfig: 1
scrapy分布式调度插件
没有合适的资源?快使用搜索试试~ 我知道了~
基于Python的Scrapy Redis分布式调度插件设计源码
共66个文件
py:26个
rst:14个
txt:7个
1.该资源内容由用户上传,如若侵权请联系客服进行举报
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
2.虚拟产品一经售出概不退款(资源遇到问题,请及时私信上传者)
版权申诉
0 下载量 93 浏览量
2024-04-16
11:06:20
上传
评论
收藏 108KB ZIP 举报
温馨提示
本源码项目是基于Python的Scrapy Redis分布式调度插件设计,包含64个文件,主要使用Python编程语言。该项目是Scrapy框架的扩展,提供了分布式爬虫的调度功能,能够有效地管理和分发爬虫任务,提高爬虫效率和稳定性。
资源推荐
资源详情
资源评论
收起资源包目录
upload.zip (66个子文件)
example-project
README.rst 2KB
process_items.py 3KB
scrapy.cfg 246B
docker-compose.yml 142B
Dockerfile 103B
requirements.txt 20B
example
__init__.py 0B
pipelines.py 362B
spiders
__init__.py 248B
dmoz.py 782B
mycrawler_redis.py 845B
myspider_redis.py 630B
items.py 613B
settings.py 923B
.editorconfig 292B
.travis.yml 1KB
requirements-setup.txt 107B
setup.py 2KB
.coveragerc 150B
pytest.ini 154B
TODO.rst 663B
Makefile 4KB
src
scrapy_redis
__init__.py 193B
pipelines.py 2KB
dupefilter.py 4KB
connection.py 2KB
scheduler.py 5KB
spiders.py 4KB
queue.py 4KB
picklecompat.py 242B
README.rst 7KB
LICENSE 1KB
tests
test_dupefilter.py 3KB
test_spiders.py 4KB
test_queue.py 1KB
test_scrapy_redis.py 9KB
test_picklecompat.py 544B
test_connection.py 2KB
test_package_import.py 156B
CONTRIBUTING.rst 3KB
HISTORY.rst 2KB
VERSION 6B
tox.ini 415B
docs
scrapy_redis.rst 1KB
index.rst 475B
make.bat 6KB
Makefile 7KB
readme.rst 27B
history.rst 28B
conf.py 8KB
modules.rst 73B
contributing.rst 33B
installation.rst 1KB
authors.rst 28B
requirements.txt 93B
.bumpversion.cfg 785B
.cookiecutterrc 562B
requirements-install.txt 96B
requirements-dev.txt 139B
MANIFEST.in 227B
.gitignore 884B
setup.cfg 76B
requirements-tests.txt 83B
.dockerignore 370B
AUTHORS.rst 160B
readme.txt 198B
共 66 条
- 1
资源评论
沐知全栈开发
- 粉丝: 4970
- 资源: 4984
下载权益
C知道特权
VIP文章
课程特权
开通VIP
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功