一些非常有趣的python爬虫例子

# <p align="center">一些非常有趣的python爬虫例子,对新手比较友好</p> <p align="center"> <a href="https://github.com/shengqiangzhang/examples-of-web-crawlers"><img src="https://img.shields.io/badge/status-updating-brightgreen.svg"></a> <a href="https://github.com/python/cpython"><img src="https://img.shields.io/badge/Python-3.7-FF1493.svg"></a> <a href="https://opensource.org/licenses/mit-license.php"><img src="https://badges.frapsoft.com/os/mit/mit.svg"></a> <a href="https://github.com/shengqiangzhang/examples-of-web-crawlers/graphs/contributors"><img src="https://img.shields.io/github/contributors/shengqiangzhang/examples-of-web-crawlers?color=blue"></a> <a href="https://github.com/shengqiangzhang/examples-of-web-crawlers/stargazers"><img src="https://img.shields.io/github/stars/shengqiangzhang/examples-of-web-crawlers.svg?logo=github"></a> <a href="https://github.com/shengqiangzhang/examples-of-web-crawlers/network/members"><img src="https://img.shields.io/github/forks/shengqiangzhang/examples-of-web-crawlers.svg?color=blue&logo=github"></a> <a href="https://www.python.org/"><img src="https://upload.wikimedia.org/wikipedia/commons/c/c3/Python-logo-notext.svg" align="right" height="48" width="48" ></a> </p> <br /> ## 项目简介 一些常见的网站爬虫例子，代码通用性较高，时效性较久。**项目代码对新手比较友好**，尽量用简单的python代码，并配有大量注释。 <br /> <br /> ## 如何下载 没有或不懂如何设置代理的**中国用户**, 可跳转至镜像仓库[码云Gitee](https://gitee.com/shengqiangzhang/examples-of-web-crawlers)进行下载, 以便获得较快的下载速度。 <br /> <br /> ## [1.淘宝模拟登录][taobao_login] ### 使用教程 1. [点击这里下载][1]下载chrome浏览器 2. 查看chrome浏览器的版本号，[点击这里下载][2]对应版本号的chromedriver驱动 3. pip安装下列包 - [x] pip install selenium 4. [点击这里][3]登录微博，并通过微博绑定淘宝账号密码 5. 在main中填写chromedriver的绝对路径 6. 在main中填写微博账号密码 ```python #改成你的chromedriver的完整路径地址 chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" #改成你的微博账号 weibo_username = "改成你的微博账号" #改成你的微博密码 weibo_password = "改成你的微博密码" ``` ### 演示图片  <br /> <br /> ## [2.天猫商品数据爬虫][tmall_crawler] ### 使用教程 1. [点击这里下载][1]下载chrome浏览器 2. 查看chrome浏览器的版本号，[点击这里下载][2]对应版本号的chromedriver驱动 3. pip安装下列包 - [x] pip install selenium - [x] pip install pyquery 4. [点击这里][3]登录微博，并通过微博绑定淘宝账号密码 5. 在main中填写chromedriver的绝对路径 6. 在main中填写微博账号密码 ```python #改成你的chromedriver的完整路径地址 chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" #改成你的微博账号 weibo_username = "改成你的微博账号" #改成你的微博密码 weibo_password = "改成你的微博密码" ``` ### 演示图片 /example.gif) /example2.png) <br /> <br /> ## [3.爬取淘宝我已购买的宝贝数据][taobao_buy_crawler] ### 使用教程 1. [点击这里下载][1]下载chrome浏览器 2. 查看chrome浏览器的版本号，[点击这里下载][2]对应版本号的chromedriver驱动 3. pip安装下列包 - [x] pip install selenium - [x] pip install pyquery 4. [点击这里][3]登录微博，并通过微博绑定淘宝账号密码 5. 在main中填写chromedriver的绝对路径 6. 在main中填写微博账号密码 ```python #改成你的chromedriver的完整路径地址 chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" #改成你的微博账号 weibo_username = "改成你的微博账号" #改成你的微博密码 weibo_password = "改成你的微博密码" ``` ### 演示图片 /example.gif) /example2.png) <br /> <br /> ## [4.每天不同时间段通过微信发消息提醒女友][say_to_lady] ### 简介 有时候，你很想关心她，但是你太忙了，以至于她一直抱怨，觉得你不够关心她。你暗自下决心，下次一定要准时发消息给她，哪怕是几句话，可是你又忘记了。你觉得自己很委屈😭，但是她又觉得你不负责。 <br /> **现在，再不用担心了**，用python就可以给女友定时发提示消息了，**而且不会漏过每一个关键时刻**，每天**早上起床、中午吃饭、晚上吃饭、晚上睡觉**，都会准时发消息给她了，而且还可以让她**学习英语单词**哦！ <br /> 在生日来临之时，自动发祝福语。在节日来临之时，比如**三八妇女节、女神节、情人节、春节、圣诞节**，自动发问候语哦，再也不用担心他说你没有仪式感了😀 <br /> 最重要的时候，实时可以知道女友的**情感情绪指数**哦，再也不用担心女友莫名其妙生气了。 ### 使用教程 1. pip安装下列包 - [x] pip install wxpy - [x] pip install requests 2. 设置以下内容 - [x] 设置config.ini相关信息 ### 演示图片 <img src="4.每天不同时间段通过微信发消息提醒女友/example1.png" width = "310" alt="example1" /><img src="4.每天不同时间段通过微信发消息提醒女友/example2.png" width = "310" alt="example2" /> <img src="4.每天不同时间段通过微信发消息提醒女友/example3.png" width = "620" alt="example3"/> <br /> <br /> ## [5.爬取5K分辨率超清唯美壁纸][crawler_5K_wallpaper] ### 简介 壁纸的选择其实很大程度上能看出电脑主人的内心世界，有的人喜欢风景，有的人喜欢星空，有的人喜欢美女，有的人喜欢动物。然而，终究有一天你已经产生审美疲劳了，但你下定决定要换壁纸的时候，又发现网上的壁纸要么分辨率低，要么带有水印。 <br /> 这里有一款Mac下的小清新壁纸神器[Pap.er][8]，可能是Mac下最好的壁纸软件，**自带5K超清分辨率壁纸**，富有多种类型壁纸，当我们想在Windows或者Linux下使用的时候，就可以考虑将**5K超清分辨率壁纸**爬取下来。 ### 功能截图   ### 如何运行 ```bash # 跳转到当前目录 cd 目录名 # 先卸载依赖库 pip uninstall -y -r requirement.txt # 再重新安装依赖库 pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 开始运行 python main.py ``` <br /> <br /> ## [6.爬取豆瓣排行榜电影数据(含GUI界面版)][getMovieInRankingList] ### 项目简介 这个项目源于大三某课程设计。平常经常需要搜索一些电影，但是不知道哪些评分高且评价人数多的电影。为了方便使用，就将原来的项目重新改写了。当做是对爬虫技术、可视化技术的实践了。主要是通过从排行榜和从影片关键词两种方式爬取电影数据。 ### 功能截图 /example_rating.png) ## 如何运行 1. 打开Chrome浏览器，在网址栏输入chrome://version/查询当前Chrome版本 2. 打开[http://chromedriver.storage.googleapis.com/index.html][1]，下载对应版本的chromedriver驱动，**下载完成后务必解压** 3. 打开当前目录下的文件`getMovieInRankingList.py`，定位到第`107行`，将`executable_path=./chromedriver.exe`修改为你的chromedriver驱动路径 4. 执行命令`pip install -r requirement.tx