Python网络爬虫项目开发实战_下载缓存_编程案例解析实例详解课程教程.pdf

如果我们还想抓取另外一个字段，比如国旗图片的URL，那么又该怎么做呢？要想抓取这些新增的字段，我们需要重新下载整个网站。对于我们这个小型的示例网站而言，这可能不算特别大的问题。但是，对于那些拥有数百万个网页的网站而言，重新爬取可能需要耗费几个星期的时间。因此，本章提出了对已爬取网页进行缓存的方案，可以让每个网页只下载一次。