python爬虫案例大全

<h2 align="center"><code>🎉Life is fantastic🥳!~</code></h2> <br> <p align="center"> <img src="https://github.com/CriseLYJ/flask-video-streaming-recorder/blob/master/img/main.jpg?raw=true" alt="Master"> </p> <br> <p align="center">"<i>Did you know all your doors were locked?</i>" - Riddick (The Chronicles of Riddick)</p> <br> <p align="center"> <a href="https://github.com/CriseLYJ/awesome-python-login-model/tree/master"> <img src="https://img.shields.io/badge/Branch-master-green.svg?longCache=true" alt="Branch"> </a> <a href="https://github.com/CriseLYJ/awesome-python-login-model/stargazers"> <img src="https://img.shields.io/github/stars/CriseLYJ/awesome-python-login-model.svg?label=Stars&style=social" alt="Stars"> </a> <a href="https://github.com/CriseLYJ/awesome-python-login-model/network/members"> <img src="https://img.shields.io/github/forks/CriseLYJ/awesome-python-login-model.svg?label=Forks&style=social" alt="Forks"> </a> <a href="http://www.gnu.org/licenses/"> <img src="https://img.shields.io/badge/License-GNU-blue.svg?longCache=true" alt="License"> </a> <a href="https://github.com/sindresorhus/awesome"> <img src="https://cdn.rawgit.com/sindresorhus/awesome/d7305f38d29fed78fa85652e3a63e154dd8e8829/media/badge.svg" alt="Awesome"> </a> </p> <br> <div align="center"> <sub>Created by <a href="https://Kr1s77.github.io/">@kris</a> </div> <br> **** ## 💕Website login model 一些爬虫示例程序，以及模拟登陆程序,模拟登陆基于 selenium，有些模拟登录基于 js 逆向，持续更新，有问题可以直接提交 Issues，欢迎提交 PR, 测试通过可以直接 merge，文中所有程序都是使用 ``python3`` 编写 :-) ## About 模拟登陆基本采用的是直接登录或者使用selenium+webdriver的方式，有的网站直接登录难度很大，比如qq空间，bilibili等如果采用selenium就相对轻松一些。 虽然在登录的时候采用的是selenium,为了效率，我们可以在登录过后得到的cookie维护起来，然后调用requests或者scrapy等进行数据采集，这样数据采集的速度可以得到保证。 ## WebDriver [Chrome](https://chromedriver.chromium.org/) [FireFox](https://github.com/mozilla/geckodriver/releases/) ## Completed - [x] [虾米音乐](https://www.xiami.com/) - [x] [Facebook](https://www.facebook.com/) - [x] [微博网页版](http://weibo.com) - [x] [知乎](http://zhihu.com) - [x] [QQZone](https://qzone.qq.com/) - [x] [CSDN](https://www.csdn.net/) - [x] [淘宝-接口修复完成-可用](https://login.taobao.com/member/login.jhtml) - [x] [CSDN--已重构](https://www.csdn.net/) - [x] [Baidu](www.baidu.com) - [x] [果壳](https://www.guokr.com/) - [x] [JingDong 模拟登录和自动申请京东试用](https://www.jd.com/) - [x] [163mail](https://mail.163.com/) - [x] [拉钩](https://www.lagou.com/) - [x] [Bilibili](https://www.bilibili.com/) - [x] [豆瓣](https://www.douban.com/) - [x] [豆瓣spider](https://www.douban.com/) - [x] [Baidu](www.baidu.com) - [x] [猎聘网](https://www.liepin.com/) - [x] [微信网页版登录并获取好友列表](https://wx.qq.com/) - [x] [Github](https://github.com/) - [x] [爬取图虫相应的图片](https://tuchong.com/) - [x] [网易云音乐](https://music.163.com/) - [x] [糗事百科--改为协程版](https://www.qiushibaike.com/) - [x] [百度贴吧spider](https://tieba.baidu.com/) - [x] [百度翻译](https://fanyi.baidu.com/) ## catalogue - [x] [虾米音乐](https://github.com/Kr1s77/awesome-python-login-model/tree/master/xiamiMusic) - [x] [Facebook模拟登录](https://github.com/Kr1s77/awesome-python-login-model/blob/master/facebook) - [x] [微博网页版模拟登录](https://github.com/Kr1s77/awesome-python-login-model/blob/master/sina) - [x] [QQZone模拟登录](https://github.com/Kr1s77/awesome-python-login-model/blob/master/qqzone) - [x] [CSDN模拟登录--已恢复](https://github.com/Kr1s77/awesome-python-login-model/blob/master/csdn) - [x] [淘宝爬虫--重构中](https://github.com/Kr1s77/awesome-python-login-model/tree/master/taobao) - [x] [Baidu模拟登录一](https://github.com/Kr1s77/awesome-python-login-model/tree/master/baidu) - [x] [果壳爬虫程序](https://github.com/Kr1s77/awesome-python-login-model/tree/master/guoke) - [x] [JingDong 模拟登录和自动申请京东试用](https://github.com/Kr1s77/awesome-python-login-model/tree/master/jd_login) - [x] [163mail--已恢复](https://github.com/Kr1s77/awesome-python-login-model/blob/master/163email/163email.py) - [x] [拉钩模拟登录--已失效](https://github.com/Kr1s77/awesome-python-login-model/blob/master/lagou/Lagou.py) - [x] [Bilibili模拟登录](https://github.com/Kr1s77/awesome-python-login-model/blob/master/bilibili/bilibili.py) - [x] [豆瓣](https://github.com/Kr1s77/awesome-python-login-model/blob/master/douban/douban.py) - [x] [Baidu2模拟登录](https://github.com/Kr1s77/awesome-python-login-model/blob/master/baidu2/baidu.py) - [x] [猎聘网模拟登录](https://github.com/Kr1s77/awesome-python-login-model/tree/master/liepin) - [x] [微信网页版登录并获取好友列表](https://github.com/Kr1s77/awesome-python-login-model/blob/master/webWeixin/webWeixin.py) - [x] [Github模拟登录两种解决方案都可行](https://github.com/Kr1s77/awesome-python-login-model/tree/master/Github) - [x] [爬取图虫想要的图片](https://github.com/Kr1s77/awesome-python-login-model/blob/master/tuchong/tuchong.py) - [x] [网易云音乐downloader](https://github.com/Kr1s77/awesome-python-login-model/blob/master/NeteaseCloudMusicDownload/wangyiyun_spider.py) - [x] [糗事百科爬虫](https://github.com/Kr1s77/awesome-python-login-model/blob/master/qsbk/qiushibaike.py) - [x] [淘宝登陆-访问](https://login.taobao.com/member/login.jhtml) # Test > [Please touch here to view test images](./README-Test.md) ## Informations - 为感谢你们的支持，准备写一套免费爬虫的教程，保证你学会以后可以爬取市面上大部分的网站，[教程地址](https://github.com/CriseLYJ/-Python-crawler-starts-from-zero) ## tips of pull request - 欢迎大家一起来 pull request 💗 ## Problems - 关于验证码：本项目所用的方法都没有处理验证码，识别复杂验证码的难度就目前来说，还是比较大的。以我的心得来说，做爬虫最好的方式就是尽量规避验证码。 - 代码失效：由于网站策略或者样式改变，导致代码失效，请给我提issue，如果你已经解决，可以提PR，谢谢！ - 正在对部分代码进行优化。。。 - 如果该repo对大家有帮助，记得 star 哦。 ## Acknowledgments > [@deepforce](https://github.com/deepforce) | [@cclauss](https://github.com/cclauss) | [ksoeasyxiaosi](https://github.com/ksoeasyxiaosi) | [JasonJunJun](https://github.com/JasonJunJun) | [MediocrityXT](https://github.com/MediocrityXT) - 感谢以上开发者的支持和贡献。 ## 联系我 - 欢迎反馈！ - My Email : criselyj@163.com ## 注意： - 本项目仅用于学习和交流 > 欢迎任何人参与和完善：一个人可以走的很快，但是一群人却可以走的更远