催化剂

催化剂 此框架是针对爬虫任务的异步任务调度管理框架。目标是让业务逻辑（爬虫逻辑）开发能够完全集中业务本身，而无需考虑任何网络错误，重试，逐步等非业务细节，从而全面提高业务扩展效率，同时框架作为可持续能统一保障系统稳定性。 框架技术特点为： 完全接口化控制任务配置/调度等所有系统行为 二级并发控制 完善的时间控制机制：任务延迟，重试次数，指数放大重试间隔，随机扰动 优先级和超时控制 灵活的插件机制 1.总览 程序主入口在src/server.js ，运行node src/server.js npm start即可启动。程序启动前，可以按需先通过src/config.js修改系统环境配置。 框架所支撑的业务逻辑默认统一放在src/tasks路径下业务逻辑的代码结构一般是层级结构，第一层为文件夹，文件夹的名字定义业务域;该业务域下可以任意组织目录结构，系统会搜索所有不以_开头的.js文件，当做任