该项目是一个使用celery作为主体框架的爬虫应用.zip

<h1 align="center">Welcome to DeadPool</h1> <p align="center"> <img src="https://img.shields.io/badge/version-beta-red.svg?cacheSeconds=2592000" alt="version"/> <img src="https://img.shields.io/badge/language-python3-blue.svg?cacheSeconds=2592000" alt="language"/> <img src="https://img.shields.io/badge/platform-windows-blue.svg?cacheSeconds=2592000" alt="platform"/> <a href="http://www.gnu.org/licenses/gpl-3.0.html"> <img alt="License: GPL" src="https://img.shields.io/badge/License-GPL-yellow.svg"/> </a> </p> 该项目是一个使用celery作为主体框架的爬虫应用(希望后期能够写成大型的爬虫项目框架)，灵感源自目前在学校进行的知识图谱的科研项目，主要用于该项目的网上文本数据采集工作。 ### 🏠 个人小栈 [我的个人博客地址: https://ryuchen.club/](https://ryuchen.github.io/) > 如果你觉得这个项目不错，想要深入了解，可以关注上面的个人小栈，未来更新的说明会刊登在这里，并且会不定时分享部分内容和心得 ### 📎 项目说明: * 因为之前工作期间深入使用过 celery 作为 django web 的后台异步任务调度，但是深感 celery 的强大，并不应该局限在 django 异步任务中附带使用。 * 于是想深入拓展一下该框架的使用，便想以celery作为主框架构建一个项目，但是后续在网上没有搜索到关于 celery 的单独项目作为参考( 可能是我搜的姿势不对，毕竟身高不够，视线太低 =.= )。 * 既然没能找到一个很好的介绍和使用 celery 的开源 demo ，那就自己来吧，毕竟身为程序员，最大的技能就是动手造重复的轮子，并且沉迷其中不可自拔。 * 目前研究生阶段在搞实验室中的知识图谱构建的相关工程，那么知识的来源是最重要的，索性就以此出发根据该项目构建一个能够爬取不同站点的高并发爬虫框架。 鉴于上述原因，我构建了这个项目，希望能够帮助自己深入理解和熟练使用 celery 的强大功能。 ### 🔥 设计说明: #### 任务模块 apps中注册的任务，可以通过 [jobs.yaml](http://example.com/ "Develop Asynch Jobs") 配置文件的 include 机制，动态支持任务加载和取消 具体可以参考如下: ```yaml # Base Tasks Router Settings # Task name jobs: # # Proxy Pool Settings task_proxy: !include jobs.d/periodic.d/task_proxy.yaml # # Cookie Pool Settings # task_cookie: !include jobs.d/periodic.d/task_cookie.yaml # # Tmall Crawler Settings # task_tmall: !include jobs.d/async.d/task_tmall.yaml # # Eastmoney Crawler Settings task_eastmoney: !include jobs.d/async.d/task_eastmoney.yaml ``` <details> <summary>爬虫任务(点击展开)</summary> ``` / ├── apps/ # 任务目录 ├── asynch/ # 异步任务目录（也是该框架运行各种爬虫脚本的主目录） ├── tasks/ ├── task_tmall/ # example for Tmall 商品爬取目录（其他爬取任务跟该目录框架一致） ├── sqlite.sql # 为了之后中断续爬做准备 ├── __init__.py # 该任务的主程序入口 ├── __main__.py # 该任务的主程序入口 ├── crawler.py # 单一爬取程序 ├── middleware.py # 爬取后的页面处理程序 └── pipline.py # 处理后的信息存储程序 └── __init__.py ├── __init__.py └── base.py # 异步任务的基类，继承了该基类才能被框架正确导入 ``` > 构建在 apps.asynch.tasks 目录下面，拥有完备的抽象实现逻辑，并且以配置文件的形式进行任务功能的声明，具体内容请参见: *如何构建该项目的[爬虫任务](http://example.com/ "Develop Asynch Jobs").* * 该套代码拥有两个样例程序（task_tmall）和（task_eastmoney） * task_eastmoney: 是爬取[东方财富网](http://eastmoney.com)的关于指定关键词的财经和期货新闻 * task_tmall: 是爬取[天猫](https://tmalll.com)的商家详情页面中的买家评价信息 * 每个任务包含四个主要部分 * __main__.py 主爬虫的入口程序，根据配置文件构建代码执行逻辑 * crawler.py 单个主体的爬虫程序利用 requests 请求页面进行预处理 * middleware.py 接收 crawler.py 的输出结果，进行数据清洗和提取 * pipeline.py 将清洗后的结果按照配置文件存储到指定地方 * 能够实现爬取过程的断点续爬功能（TODO） * sqlite.sql 数据脚本文件创建 sqlite3 小数据库作为爬取记录 配置文件(样例) ```yaml # 需要进行引入的类的名称 class: "TaskEastmoney" # 任务所在的类别 module: "asynch" # 配置 options: # 登录配置声明 login: enable: false nickname: 'nickname' username: 'username' password: 'password' # proxy 配置声明 proxy: true # cookie 配置声明 cookie: true # 启用的存储模块声明 storage: module: "MongoStorage" collection: "" # 爬取时的关键字 keyword: - "大豆" ``` </details> --- 周期任务 ``` / ├── apps/ # 任务目录 │── periodic/ # 定时任务目录（该框架的通用脚本目录） ├── tasks/ ├── task_cookie/ # 周期检查请求的 cookie 是否可用 （TODO） ├── __init__.py └── __main__.py ├── task_proxy/ # 周期性更新代理池中的IP地址 ├── __init__.py └── __main__.py └── __init__.py ├── __init__.py └── base.py # 定时任务的基类，继承了该基类才能被框架正确导入 ``` > 构建在 apps.periodic.tasks 目录下面，利用celery的周期特性，完成周期性任务的执行，具体内容请参见: *如何构建该项目的[周期任务](http://example.com/ "Develop Periodic Jobs").* * 该套代码拥有两个样例程序（task_cookie）(TODO) 和（task_proxy） * task_proxy: 构建代理池，周期性检查代理池中任务的状态，维护最低标准的可用IP * task_cookie: 构建cookie池，周期性检查当前cookie是否可用，维护最低标准的可用cookie 配置文件(样例) ```yaml # 需要进行引入的类的名称 class: "TaskProxy" # 任务所在的类别 module: "periodic" # 配置 options: # set 0 proxy address will not force expire # Or will force expire current proxy pool in current expire setting (s) expire: 600 pool: maximum: 60 minimum: 10 concurrent: 5 # the job schedule time (min) crontab: "*" ``` --- 插件模块 ``` / ├── common/ # 通用库 ├── plugins/ # 通用解析插件库 ├── human/ # 模拟真人操作的库 ├── slider.py # 模拟真人浏览页面操作 ├── verification.py # 反爬验证程序操作 └── __init__.py ├── storage/ # 爬取结果存储的库 ├── filestorage.py # 文件形式本地存储 ├── mongostorage.py # mongodb存储 └── __init__.py └── __init__.py ``` > 构建在 common.plugins 集成了常见的反爬机制识别、人为操作模拟和存储系统支持 * 在 human 库下实现了: * 模拟人为浏览页面进行滑动的操作(slider.py) * 常规滑块识别人机识别的程序操作(verification.py) (TODO) * 在 storage 库下实现了： * 爬取内容的本地磁盘文本形式存储的功能支持(filestorage.py) * 爬取内容的mongodb文本形式存储的功能支持(mongostorage.py) --- 其他模块 > 为了尽可能的拓展支持的平台和项目的灵活性，而加入的功能 * 根据运行平台自动加载相�