Python中Scrapy爬虫图片处理详解

下载图片 下载图片有两种方式，一种是通过 Requests 模块发送 get 请求下载，另一种是使用 Scrapy 的 ImagesPipeline 图片管道类，这里主要讲后者。 安装 Scrapy 时并没有安装图像处理依赖包 Pillow，需手动安装否则运行爬虫出错。 首先在 settings.py 中设置图片的存储路径： IMAGES_STORE = ‘D:/’ 图片处理相关的选项还有： # 图片最小高度和宽度设置，可以过滤太小的图片 IMAGES_MIN_HEIGHT = 110 IMAGES_MIN_WIDTH = 110 # 生成缩略图选项 IMAGES_THUMBS = {