Python网络爬虫项目开发实战_并发下载_编程案例解析实例详解课程教程.pdf

在之前，我们的爬虫都是串行下载网页的，只有前一次下载完成之后才会启动新下载。在爬取规模较小的示例网站时，串行下载尚可应对，一但面对大型网站时就会显得捉襟见肘了。 在爬取拥有100万网页的大型网站时，假设我们以每秒一个网页的速度昼夜不停地下载，耗时也要超过11天。如果我们可以同时下载多个网页，那么下载时间将会得到显著改善。本章将介绍使用多线程和多进程这两种下载网页的方式，并将它们与串行下载的性能进行比较。