ScrapyWithBloomFilter:一个带有bloom过滤器的scrapy项目

让scrapy带上布隆过滤器 基于settings.py -> DUPEFILTER_CLASS 配置实现 1.只实现去重(BloomFilterRedis文件夹、BloomFilterRedis_ex文件夹) 实现的功能仅为利用redis实现去重，不能实现增量效果，适用于代爬取链接规律已知，可以构造url出来场景 BloomFilterRedis文件夹基于 BloomFilterRedis_ex文件夹基于 两个版本不同之处在于所选的hash函数不一样，默认位数组长度位 1 << 31 具体配置在目录下 settings.py 里有详细说明。 2.只实现去重(pybloom_live_file文件夹) 基于实现 配置方法在 settings.py，其余配置在 defaults.py BloomFileOperate 启动后，会自动启动一个线程进行bloom位数组的保存，目前未解决合理复制文