没有合适的资源?快使用搜索试试~ 我知道了~
webbot:基于scrapy 0.24.6框架的简单webbot
共23个文件
py:14个
sh:2个
txt:1个
需积分: 10 0 下载量 55 浏览量
2021-06-02
22:04:22
上传
评论
收藏 46KB ZIP 举报
温馨提示
网络机器人用户手册 基于scrapy(0.24.6)的简单webbot 功能列表 配置(json) 选择器(xpath/css/jpath) 正则表达式(Python风味) 宏(年/月/日/时/分/秒) 页面(开始/停止/步骤) 解析(int/float/date/text/string/sub/grep/map/tee) 插件(python 脚本) 图片下载器 过滤器(detetime-delta/regex/number-range/str) 数据库(redis/mongo/mysql) 代理(http) HttpMethod(GET/POST) HttpHeader(Cookie/Usage-Agent/Referer) 日志记录(调试/信息/警告/错误) 设置(下载超时/下载延迟/用户代理) 消息队列(zmq) StatsPost(mongo) 批量
资源推荐
资源详情
资源评论
收起资源包目录
webbot-master.zip (23个子文件)
webbot-master
scrapy.cfg 339B
LICENSE 34KB
requirements.txt 117B
examples
douban.conf 790B
.gitignore 15B
README.md 24KB
webbot
extensions.py 2KB
middlewares.py 5KB
pipelines.py 7KB
spiders
webbot_spider.py 14KB
__init__.py 161B
items.py 164B
__init__.py 0B
settings.py 1KB
utils
dateparser.py 6KB
parser.py 9KB
utils.py 14KB
__init__.py 0B
api.py 1KB
scripts
deploy-scrapyd.sh 1KB
deploy-redis.sh 3KB
purge-redis.py 691B
redis-import.awk 123B
共 23 条
- 1
资源评论
曲奇小朋友
- 粉丝: 17
- 资源: 4575
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 三维装箱问题(Three-Dimensional Bin Packing Problem,3D-BPP)是一个经典的组合优化问题
- 以下是一些关于Linux线程同步的基本概念和方法.txt
- 以下是一个简化的示例,它使用pygame库来模拟烟花动画的框架.txt
- Linux线程同步机制深度解析与实用指南.zip
- PTA题库C语言解题策略与实战.rar
- SVPWM控制技术的simulink建模与仿真【包括simulink模型,参考文献,操作步骤】
- AI高清修复图片画质易语言易语言源码易语言填表
- 映射窗口.ec易语言易语言模块CPU占用0%游戏监控窗口监控
- 易语言 361窗口模块高效、便捷、自封装、自用
- 易语言 窗口排列 模块 ,简单、高效、体积小
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功