IP_Proxy_spider:用Python的requests库写了一个简单的批量获取免费代理ip的程序，其中包括“下载+验证...

#Python 免费代理ip的批量获取 ##简介 网络爬虫的世界，向来都是一场精彩的攻防战。现在许多网站的反爬虫机制在不断的完善，其中最令人头疼的，莫过于直接封锁你的ip。但是道高一尺魔高一丈，在爬取网页的时候，使用上代理ip，便可以有效的避免自己的ip被封锁。 想要使用代理ip，目前你可以去相应的代理网站购买代理ip（如果是大型的项目还是推荐去购买），也可以去使用一些代理网站提供的免费的代理ip，不过这些ip还是存在很多问题的，有些不可用，有些不稳定，有些时效短。不过如果量大的话，还是有不少可以使用的。 基于这个目的，利用Python的requests库写了一个简单的批量获取免费代理ip的程序，其中包括“下载+验证”程序。下面将简单介绍代码思路和使用方法。 ##Python实现思路 ###1. 确定获取免费代理ip的网页 通过寻找，发现目前有些提供免费代理ip网站有以下三类情况： 所有的