http-crawler:一个用于爬网网站的库

http搜寻器 http-crawler是用于爬网网站的库。 它使用来说HTTP。 安装 用安装： $ pip install http-crawler 用法 http_crawler模块提供了一个生成器功能crawl 。 crawl使用URL进行调用，并产生的类的实例。 crawl将在给定URL处请求页面，并将从响应中提取所有URL。 然后，它将针对每个这些URL发出请求，并将重复该过程，直到它请求从原始URL的域上的页面链接到的每个URL。 它不会从任何具有与原始URL不同域的页面中提取或处理URL。 例如，这是您使用crawl在网站上查找和记录任何损坏的链接的方式： >>> from http_crawler import crawl >>> for rsp in crawl( ' http://www.example.com ' ): >>> if rsp.sta