没有合适的资源?快使用搜索试试~ 我知道了~
scrapy-autoextract:用于Scrapy的Scrapinghub AutoExtract API集成
共29个文件
py:17个
yml:3个
ini:2个
需积分: 5 0 下载量 31 浏览量
2021-05-25
14:05:27
上传
评论
收藏 30KB ZIP 举报
温馨提示
Scrapy和Autoextract API集成 该库通过两种不同的方式将ScrapingHub的AI启用的自动数据提取功能集成到Scrapy Spider中: 使用一个下载程序中间件,该中间件将AutoExtract响应注入到response.meta['autoextract'] ,以供蜘蛛使用。 与一个提供程序,该响应程序将响应作为回调参数注入。 安装 pip install scrapy-autoextract scrapy-autoextract需要使用Python 3.6+下载中间件,并且需要Python 3.7+用于scrapy-poet提供程序 用法 使用此库可以使用两种不同的方式来使用AutoExtract API: 使用我们的Scrapy中间件 使用我们的页面对象提供程序 中间件 中间件是选择加入的,可以根据请求使用{'autoextract': {'enabl
资源推荐
资源详情
资源评论
收起资源包目录
scrapy-autoextract-master.zip (29个子文件)
scrapy-autoextract-master
setup.py 2KB
.gitignore 2KB
.codecov.yml 80B
CHANGES.rst 659B
.bumpversion.cfg 142B
LICENSE 2KB
setup.cfg 412B
.github
workflows
test.yml 1KB
publish.yml 890B
README.rst 11KB
scrapy_autoextract
errors.py 765B
middlewares.py 11KB
__init__.py 118B
__version__.py 22B
providers.py 10KB
slot_semaphore.py 3KB
utils.py 370B
task_manager.py 3KB
tests
conftest.py 263B
requirements.txt 58B
test_errors.py 681B
test_autoextract.py 4KB
__init__.py 0B
test_providers.py 11KB
utils.py 1KB
test_task_manager.py 4KB
test_slot_semaphore.py 4KB
pytest.ini 89B
tox.ini 461B
共 29 条
- 1
资源评论
火石创造
- 粉丝: 33
- 资源: 4667
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功