淘宝模拟登录&每天不同时间段通过微信发消息提醒女友&一键生成微信个人专属数据报告，各种好玩有用的爬虫案例

## 项目简介 一些常见的网站爬虫例子，代码通用性较高，时效性较久。**项目代码对新手比较友好**，尽量用简单的python代码，并配有大量注释。 <br /> <br /> ## 如何下载 没有或不懂如何设置代理的**中国用户**, 可跳转至镜像仓库[码云Gitee](https://gitee.com/shengqiangzhang/examples-of-web-crawlers)进行下载, 以便获得较快的下载速度。 <br /> <br /> ## [1.淘宝模拟登录][taobao_login] ### 使用教程 1. [点击这里下载][1]下载chrome浏览器 2. 查看chrome浏览器的版本号，[点击这里下载][2]对应版本号的chromedriver驱动 3. pip安装下列包 - [x] pip install selenium 4. [点击这里][3]登录微博，并通过微博绑定淘宝账号密码 5. 在main中填写chromedriver的绝对路径 6. 在main中填写微博账号密码 ```python #改成你的chromedriver的完整路径地址 chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" #改成你的微博账号 weibo_username = "改成你的微博账号" #改成你的微博密码 weibo_password = "改成你的微博密码" ``` ### 演示图片  <br /> <br /> ## [2.天猫商品数据爬虫][tmall_crawler] ### 使用教程 1. [点击这里下载][1]下载chrome浏览器 2. 查看chrome浏览器的版本号，[点击这里下载][2]对应版本号的chromedriver驱动 3. pip安装下列包 - [x] pip install selenium - [x] pip install pyquery 4. [点击这里][3]登录微博，并通过微博绑定淘宝账号密码 5. 在main中填写chromedriver的绝对路径 6. 在main中填写微博账号密码 ```python #改成你的chromedriver的完整路径地址 chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" #改成你的微博账号 weibo_username = "改成你的微博账号" #改成你的微博密码 weibo_password = "改成你的微博密码" ``` ### 演示图片 /example.gif) /example2.png) <br /> <br /> ## [3.爬取淘宝我已购买的宝贝数据][taobao_buy_crawler] ### 使用教程 1. [点击这里下载][1]下载chrome浏览器 2. 查看chrome浏览器的版本号，[点击这里下载][2]对应版本号的chromedriver驱动 3. pip安装下列包 - [x] pip install selenium - [x] pip install pyquery 4. [点击这里][3]登录微博，并通过微博绑定淘宝账号密码 5. 在main中填写chromedriver的绝对路径 6. 在main中填写微博账号密码 ```python #改成你的chromedriver的完整路径地址 chromedriver_path = "/Users/bird/Desktop/chromedriver.exe" #改成你的微博账号 weibo_username = "改成你的微博账号" #改成你的微博密码 weibo_password = "改成你的微博密码" ``` ### 演示图片 /example.gif) /example2.png) <br /> <br /> ## [4.每天不同时间段通过微信发消息提醒女友][say_to_lady] ### 简介 有时候，你很想关心她，但是你太忙了，以至于她一直抱怨，觉得你不够关心她。你暗自下决心，下次一定要准时发消息给她，哪怕是几句话，可是你又忘记了。你觉得自己很委屈😭，但是她又觉得你不负责。 <br /> **现在，再不用担心了**，用python就可以给女友定时发提示消息了，**而且不会漏过每一个关键时刻**，每天**早上起床、中午吃饭、晚上吃饭、晚上睡觉**，都会准时发消息给她了，而且还可以让她**学习英语单词**哦！ <br /> 在生日来临之时，自动发祝福语。在节日来临之时，比如**三八妇女节、女神节、情人节、春节、圣诞节**，自动发问候语哦，再也不用担心他说你没有仪式感了😀 <br /> 最重要的时候，实时可以知道女友的**情感情绪指数**哦，再也不用担心女友莫名其妙生气了。 ### 使用教程 1. pip安装下列包 - [x] pip install wxpy - [x] pip install requests 2. 设置以下内容 - [x] 设置config.ini相关信息 ### 演示图片 <img src="4.每天不同时间段通过微信发消息提醒女友/example1.png" width = "310" alt="example1" /><img src="4.每天不同时间段通过微信发消息提醒女友/example2.png" width = "310" alt="example2" /> <img src="4.每天不同时间段通过微信发消息提醒女友/example3.png" width = "620" alt="example3"/> <br /> <br /> ## [5.爬取5K分辨率超清唯美壁纸][crawler_5K_wallpaper] ### 简介 壁纸的选择其实很大程度上能看出电脑主人的内心世界，有的人喜欢风景，有的人喜欢星空，有的人喜欢美女，有的人喜欢动物。然而，终究有一天你已经产生审美疲劳了，但你下定决定要换壁纸的时候，又发现网上的壁纸要么分辨率低，要么带有水印。 <br /> 这里有一款Mac下的小清新壁纸神器[Pap.er][8]，可能是Mac下最好的壁纸软件，**自带5K超清分辨率壁纸**，富有多种类型壁纸，当我们想在Windows或者Linux下使用的时候，就可以考虑将**5K超清分辨率壁纸**爬取下来。 ### 功能截图   ### 如何运行 ```bash # 跳转到当前目录 cd 目录名 # 先卸载依赖库 pip uninstall -y -r requirement.txt # 再重新安装依赖库 pip install -r requirement.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 开始运行 python main.py ``` <br /> <br /> ## [6.爬取豆瓣排行榜电影数据(含GUI界面版)][getMovieInRankingList] ### 项目简介 这个项目源于大三某课程设计。平常经常需要搜索一些电影，但是不知道哪些评分高且评价人数多的电影。为了方便使用，就将原来的项目重新改写了。当做是对爬虫技术、可视化技术的实践了。主要是通过从排行榜和从影片关键词两种方式爬取电影数据。 ### 功能截图 /example_rating.png) ## 如何运行 1. 打开Chrome浏览器，在网址栏输入chrome://version/查询当前Chrome版本 2. 打开[http://chromedriver.storage.googleapis.com/index.html][1]，下载对应版本的chromedriver驱动，**下载完成后务必解压** 3. 打开当前目录下的文件`getMovieInRankingList.py`，定位到第`107行`，将`executable_path=./chromedriver.exe`修改为你的chromedriver驱动路径 4. 执行命令`pip install -r requirement.txt`安装程序所需的依赖包 5. 执行命令`python main.py`运行程序 ## 包含功能 - [x] 根据关键字搜索电影 - [x] 根据排行榜(TOP250)搜索电影 - [x] 显示IMDB评分及其他基本信息 - [x] 提供多个在线视频站点，无需vip - [x] 提供多个云盘站点搜索该视频，以便保存到云盘 - [x] 提供多个站点下载该视频 - [ ] 等待更新 <br /> <br /> ## [7.多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架)][fund_data] ### 简介 提到爬虫，大部分人都会想到使用Scrapy工具，但是仅仅停留在会使用的阶段。为了增加对爬虫机制的理解，我们可以手动实现多线程的爬虫过程，同时，引入IP代理池进行基本的反爬操作。 本次使用天天基金网进行爬虫，该网站具有反爬机制，同时数量足够大，多线程效果较为明显。 ### 技术路线 - IP代理池 - 多线程 - 爬虫与反爬 ### 数据格式 000056,建信消费升级混合,2019-03-26,1.7740,1.7914,0.98,2019-03-27 15:00 000031,华夏复兴混合,2019-03-26,1.5650,1.5709,0.38,2019-03-27 15:00 000048,华夏双债增强债券C,2019-03-26,1.2230,1.2236,0.05,2019-03-27 15:00 000008,嘉实中证500ETF联接A,2019-03-26,1.4417,1.4