Krawlr:C# & Selenium 网页爬虫

克劳尔 C# 和 Selenium 网页爬虫。 它易于使用并设计为从命令行运行。 下载 很快。 建造 下载运行源之后build.cmd导航到\Krawlr.Console\Bin\Release和繁荣有Krawlr。 用法 在克隆源和构建之后，让我们利用命令行。 // The simplest way to start the crawl $ Krawlr.exe --url http://simple-crawl.com/ // While crawling it's possible to ignore some routes by supplying a simple list of keywords to ignore $ Krawlr.exe --url http://my-awesome-site.com/ --exclude ExcludeUrls.txt // Kraw