Combine focused crawler-开源

Combine是一个用于爬网Internet资源的开放系统。 它既可以用作常规爬虫，也可以用作重点爬虫。 如果要下载与特定主题相关的网页（例如“食肉植物”），那么Combine是适合您的系统！