# 基于scrapy的多阶段式通用爬虫框架
## 前提环境
[python](https://www.python.org/)
[make (windows)](https://gnuwin32.sourceforge.net/packages/make.htm)
[Chrome](https://www.google.com/chrome/)
## 使用
> [!note]
>
> 环境配置: [环境配置](./doc/环境配置.md)
>
> 配置模板参考: [配置模板](./universal_spider/template/config_template.py)
>
> 配置字段文档: [配置详解](./doc/配置详解.md)
>
> 测试配置: [测试配置](./doc/test_config.md)
>
# 待办
- [X] 添加测试配置
- [X] 添加 Makefile
- [X] 添加git提交预检查
- [X] 自动继承上个请求的cookie（假设存在）
- [ ] 中间件添加
- [X] 请求头
- [X] 代理
- [X] 请求间隔
- [X] 重定向
- [ ] 统计响应状态
- [ ] 其他
- [ ] 添加管道
- [X] mysql
- [X] mongodb
- [ ] local csv/json/xlsx
- [ ] 其他
- [ ] 添加解析字段的额外处理逻辑
- [ ] 解析前
- [X] 解析后
- [X] 添加浏览器的抓取方式 （中间件形式）
- [X] 添加通过点击生成配置的前端展示 **[生成配置](https://github.com/ling-yuan/generate-config-with-web)**
- [ ] 其他
- [ ] 添加接口方式提交配置进行抓取
- [ ] 封装成容器
- [ ] 根据通用配置生成requests爬虫
基于Scrapy的通用爬虫框架文档详细+资料齐全.zip （54个子文件） 
CSDN 软件 
项目授权码.txt 268B base_spider-main doc 
test_config.md 10KB 项目结构解读.md 0B 配置详解.md 4KB 环境配置.md 340B pytest.ini 59B Makefile 1KB main.py 2KB LICENSE 1KB scrapy.cfg 275B .pre-commit-config.yaml 813B requirements.txt 86B test tools test_process_function.py 9KB test_replacer.py 6KB test_request.py 6KB test_parse.py 6KB test_parse_function.py 5KB sys_path.py 478B .gitignore 244B universal_spider __init__.py 0B tools __init__.py 832B parse_funtion.py 2KB request.py 2KB replacer.py 9KB process_function.py 7KB others.py 0B logger.py 1021B parse.py 2KB wapper.py 2KB Info __init__.py 176B drissionpage.py 595B mysql.py 326B proxy.py 101B mongo.py 465B pipelines __init__.py 193B pipelines.py 369B mongo_pipeline.py 2KB mysql_pipeline.py 2KB template config_template.py 2KB items __init__.py 85B items.py 271B base_item.py 213B spiders __init__.py 161B base_spider.py 12KB middlewares __init__.py 671B random_delay_middleware.py 1010B redirect_middlewares.py 5KB drissionpage_middleware.py 3KB proxy_middleware.py 1KB user_agent_middleware.py 485B middlewares.py 4KB settings.py 3KB commands test_commands.py 175B Readme.md 1KB资源评论
