**Sina_Spider1: 《[新浪微博爬虫分享（一天可抓取 1300 万条数据）](http://blog.csdn.net/bone_ace/article/details/50903178)》**
<br> **Sina_Spider2: 《[新浪微博分布式爬虫分享](http://blog.csdn.net/bone_ace/article/details/50904718)》**
<br> **Sina_Spider3: 《[新浪微博爬虫分享（2016年12月01日更新）](http://blog.csdn.net/bone_ace/article/details/53379904)》**
<br>
<br>
Sina_Spider1为单机版本。<br>
Sina_Spider2在Sina_Spider1的基础上基于scrapy_redis模块实现分布式。<br>
Sina_Spider3增加了Cookie池的维护，优化了种子队列和去重队列。<br>
<br>
三个版本的详细介绍请看各自的博客。
遇到什么问题请尽量留言，方便后来遇到同样问题的同学查看。也可加一下QQ交流群：<a target="_blank" href="//shang.qq.com/wpa/qunwpa?idkey=a3e1d79f8c7e12b9db5ac680375d7174a91384f288d3ba16e1781c2587872560"><img border="0" src="http://pub.idqqimg.com/wpa/images/group.png" alt="微博爬虫交流群" title="微博爬虫交流群"></a>。
<br><br><br><br>
--------------------------------------------------------------------------
<br>
20161215更新：
<br>
有人反映说爬虫一直显示爬了0页，没有抓到数据。
<br>
1、把settings.py里面的LOG_LEVEL = 'INFO'一行注释掉，使用默认的"DEBUG"日志模式，运行程序可查看是否正常请求网页。
<br>
2、注意程序是有去重功能的，所以要清空数据重新跑的话一定要把redis的去重队列删掉，否则起始ID被记录为已爬的话也会出现抓取为空的现象。清空redis数据 运行cleanRedis.py即可。
<br>
3、另外，微博开始对IP有限制了，如果爬的快 可能会出现403，大规模抓取的话需要加上代理池。
<br><br><br><br>
---------------------------------------------------------------------------
<br>
20170323更新：
<br>微博从昨天下午三点多开始做了一些改动，原本免验证码获取Cookie的途径已经不能用了。以前为了免验证码登录，到处找途径，可能最近爬的人多了，给封了。
<br>那么就直面验证码吧，走正常流程登录，才没那么容易被封。此次更新主要在于Cookie的获取途径，其他地方和往常一样（修改了cookies.py，新增了yumdama.py）。
<br>加了验证码，难度和复杂程度都提高了一点，对于没有编程经验的同学可能会有一些难度。
<br>验证码处理主要有两种：手动输入和打码平台自动填写（手动输入配置简单，打码平台输入适合大规模抓取）。
<br><br>手动方式流程：
<br>
1、下载PhantomJS.exe，放在python的安装路径（适合Windows系统，Linux请找百度）。
<br>
2、运行launch.py启动爬虫，中途会要求输入验证码，查看项目路径下新生成的aa.png，输入验证码 回车，即可。
<br>
<br>打码方式流程：
<br>
1、下载PhantomJS.exe，放在python的安装路径。
<br>
2、安装Python模块PIL（请自行百度，可能道路比较坎坷）
<br>
3、验证码打码：我使用的是 http://www.yundama.com/ （真的不是打广告..），将username、password、appkey填入yumdama.py（正确率挺高，weibo.cn正常的验证码是4位字符，1元可以识别200个）。
<br>（如果一直出现302，调试发现yumdama.py一直返回空字符串，可将yumdama.py中的apiurl改成 'http://api.yundama.net:5678/api.php' 试试，在第38行前后，原值是 'http://api.yundama.com/api.php' 。）
<br>
4、cookies.py中设置IDENTIFY=2，运行launch.py启动爬虫即可。
<br><br><br><br>
---------------------------------------------------------------------------
<br>
20170405更新：
<br>微博从4月1日开始对IP限制更严了，很容易就403 Forbidden了，解决的办法是加代理。从16年12月更新代码后爬微博的人多了许多，可能对weibo.cn造成了挺多无效访问。所以此次代码就不更新了，过滤一些爬虫新手，如果仍需大量抓取的，在middleware.py中加几行代码，带上代理就行了，难度也不大。没加代理的同学将爬虫速度再降低一点，还是能跑的。<br>
可能有挺多同学需要微博数据写论文，在群里找一下已有数据的同学吧，购买代理也不便宜。<br>
（我也没怎么跑微博，手上也没什么数据）
<br><br><br><br>
---------------------------------------------------------------------------
<br>
20170407更新：
<br>有些同学还用着SinaSpider1，现将SinaSpider1中获取Cookie的代码也作了更新，使用方法和SinaSpider3的一样，见上面的更新说明。
<br><br><br><br>
---------------------------------------------------------------------------
<br>
20170410更新：
<br>许多同学问微博帐号哪里买，淘宝上禁的有一点严，所以直接搜可能没搜到。需要的同学可以搜店铺名称：账号素材生产基地 或 互联网账号营销中心，看店铺里的商品，有老客户链接。偶尔会断货，购买多少自行斟酌。非广告，不需要的请忽略。
<br><br><br><br>
---------------------------------------------------------------------------
<br>
20170426更新：
<br>从昨天下午开始，weibo.cn的登录方式又变了，关闭了原来的登录页面，采用m.weibo.com的登录途径，登录过程中可能会出现图形解锁的验证码。隐约感觉有几个微博官方反爬虫的人正在暗处默默地盯着我，说不定什么时候就要请我去喝茶了。。
唉，图形解锁应该也是可以破解的，但是最近事多，要过两个星期才有空研究，有需要的可以等等，或者大伙自己可以研究一下，按像素识别。
<br><br><br><br>
---------------------------------------------------------------------------
<br>
20170509更新：
<br>1、http://weibo.cn改成了https://weibo.cn。
<br>2、图形解锁验证码的破解见博客 [《图形解锁破解（附Python代码）》](http://blog.csdn.net/bone_ace/article/details/71056741) 。微博爬虫的Cookie获取模块请自行更新。
<br><br>
<br>
新浪微博python爬虫程序.zip （53个子文件） 
ignore.txt 18B
SinaSpider-master 
pipelines.py 7KB readme.md 6KB Sina_spider2 scrapy.cfg 268B Begin.py 71B Sina_spider2 __init__.py 0B pipelines.py 841B middleware.py 465B user_agents.py 7KB cookies.py 2KB spiders __init__.py 161B informationSpider.py 4KB tweetsSpider.py 4KB items.py 964B weiboID.py 3KB settings.py 758B commands __init__.py 0B crawlall.py 1KB Sina_spider3 scrapy.cfg 268B Sina_spider3 __init__.py 0B pipelines.py 7KB middleware.py 3KB user_agents.py 7KB yumdama.py 6KB cookies.py 7KB cleanRedis 1KB spiders __init__.py 161B sinaSpider.py 9KB items.py 1KB weiboID.py 3KB scrapy_redis __init__.py 0B pipelines.py 986B tests.py 8KB dupefilter.py 1KB connection.py 869B scheduler.py 3KB spiders.py 2KB queue.py 5KB settings.py 1KB launch.py 79B .gitignore 1KB Sina_spider1 scrapy.cfg 268B Begin.py 79B Sina_spider1 __init__.py 0B pipelines.py 1KB middleware.py 465B user_agents.py 7KB yumdama.py 6KB cookies.py 5KB spiders __init__.py 161B spiders.py 8KB items.py 1KB settings.py 660B资源评论
