scrapyd项目部署1
需积分: 0 8 浏览量
2022-08-08
22:54:01
上传
评论
收藏 517KB DOCX 举报
scrapyd 部署爬虫项目
scrapyd 是运行 scrapy 爬虫的服务程序，它支持以 http 命令方式发布、删除、
启动、停止爬虫程序。而且 scrapyd 可以同时管理多个爬虫，每个爬虫还可以有
多个版本。
此部署项目的前提：操作系统-windows、安装有 Anaconda、项目 python 版
本-2.7.
1. 打开 Aconada Prompt，新建虚拟环境（方便管理），在虚拟环境中安装 scrapy
项目需要使用到的包。除了下面提到的包之外，还需要自己在虚拟环境中安
装要部署项目中使用的其他包：例如 pymongo（3.6.1）、parse（1.8.2）、bs4
（0.0.1）、setuptools（39.0.1）、beautifulsoup（4.6.0）、pywin32（222）、
requests（2.18.1）、scrapy（1.0.7）等等。
2. 在 Aconada Prompt 中新建虚拟环境的方法及操作虚拟环境所使用的命令请
参考：https://blog.csdn.net/lyy14011305/article/details/59500819。
3. 在虚拟环境命令框输入 activate XXX（所创建虚拟环境名称），接着安装
scrapyd 模块，scrapyd 模块是专门用于部署 scrapy 项目的，可以部署和管
理 scrapy 项目。执行 pip install scrapyd==1.1.1。
等待安装完成。然后在命令行中输入 scrapyd 启动 scrapyd 服务。
资源评论
三山卡夫卡
- 粉丝: 16
- 资源: 323
最新资源
- 群晖教程1上篇、修改SATA定义实现NTFS等格式文件挂载而无需格式化-标清
- 基于python开发的E类gmt15种随机数质量检测算法+源码+开发文档（毕业设计&课程设计&项目开发）
- 基于python实现的多尺度光流直方图的异常检测+源码（毕业设计&课程设计&项目开发）
- hadoop-基于hive的聊天数据分析报表可视化案例数据源
- Advanced Multicore Systems-On-Chip
- kb-2026-0504cbr-3.zip
- 基于Python卷积神经网络人脸识别驾驶员疲劳检测与预警系统设计+源码+文档（毕业设计&课程设计&项目开发）
- 在链表的任意位置插入一个节点.c
- 基于python实现使用谷歌mediapipe的手关键点检测模型+源码（毕业设计&课程设计&项目开发）
- 西门子电梯PLC比赛代码
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
