如何用Flask和Redis来动态维护代理池
文炳春秋 2020-09-08 | 57阅读 | 1转藏
转藏全屏朗读分享
展开全文
我们在爬虫时可能会遇到封IP的问题，那么利用代理就可以进行IP的伪装，然后进行爬虫的请求。我们有时会需要非常多的ip，那么维护一个代理池（代理的队列，可以存入或取出），需要对整个池进行定期的检查和更新，以此来保证代理的高质量（也就是代理的检测和筛选），以免对爬虫产生影响。
Redis主要给代理池提供一个队列存储。
Flask用来实现代理池的接口。
为什么要用代理池？
许多网站有专门的反爬虫措施，可能遇到封IP等问题。
互联网上公开了大量免费代理，利用好资源。
通过定时的检测维护同样可以得到许多的可用代理。
代理池的要求
多站抓取，异步检测（异步是为了提高检测效率）
定时筛选，持续更新
提供接口，易于提取
代理池架构
在这里插入图片描述
代理池实现
download源码
以github一位大神的源码作为参考：https://github.com/germey/proxypool
分析一下如何实现一个代理池。
在这里插入图片描述
