ScriptSpider:一个java版本的分布式的通用爬虫，可以插拔各个组件（提供默认的）

ScriptSpider ScriptSpider（以下简称SS），做一个好用的爬虫框架。 目前的功能已经够大多数情况下使用，ScriptSpider会朝着易用、高度、最新技术的方向发展！ 欢迎 Star 和 Fork 我的项目！ 项目主页 国外： 国内： 特点 Java开发（学习java的良方） 易理解（中文注释，多样例代码） 易用性（最短一行代码就可以开始爬虫） 代码少（已经默认实现了大部分功能） 基于Jsoup（个性化解析网页方便） 高度扩展性（热插拔组件，可定制每一个流程） 速度快（多线程爬虫，线程池管理，线程池下载，分布式） 分布式（基于redis，mq等，部署简单，速度很快） 使用情况 近12个月maven中央仓库使用情况。 安装 使用maven <dependency> <groupId>com.github.xjtushilei</groupId> &lt;art