没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
今天刚看完崔大佬的《python3网络爬虫开发实战》,顿时觉得自己有行了,准备用appium登录QQ爬取列表中好友信息,接踵而来的是一步一步的坑,前期配置无数出错,安装之后连接也是好多错误,把这些错误解决之后,找APPactivity的值又让我绕了一大圈,找到值后又在权限上无法授权。 正当我手足无措的准备放弃的时候,我突然看到Charles,可以直接对APP抓包,在配置上有事一步一个坑后,当我准备抓取抖音视频评论的时候一堆乱码,我反手就是一巴掌 为了避免这种尴尬,以及我突然想写博客的心情,我决定还是为大家在进行一次简易爬虫展示,总体程序我会利用多线程的方式来充分利用CPU的空闲时间,其中我也
资源详情
资源评论
资源推荐

Python爬虫进阶之多线程爬取数据并保存到数据库爬虫进阶之多线程爬取数据并保存到数据库
今天刚看完崔大佬的《python3网络爬虫开发实战》,顿时觉得自己有行了,准备用appium登录QQ爬取列表中好友信息,接踵而来的是一步一步的坑,前期配置无数出错,安装之后
连接也是好多错误,把这些错误解决之后,找APPactivity的值又让我绕了一大圈,找到值后又在权限上无法授权。
正当我手足无措的准备放弃的时候,我突然看到Charles,可以直接对APP抓包,在配置上有事一步一个坑后,当我准备抓取抖音视频评论的时候一堆乱码,我反手就是一巴掌
为了避免这种尴尬,以及我突然想写博客的心情,我决定还是为大家在进行一次简易爬虫展示,总体程序我会利用多线程的方式来充分利用CPU的空闲时间,其中我也会加入数据
库,有机会的话还想用邮件模块来为大家展示定时给自己发送邮件。哈哈哈,本博主就是喜欢如此花里胡哨。
一、网页分析一、网页分析
首先我的想法是爬取一个网站来获取所有品牌的电脑,以及价格和主要的参数,并将这些数据写入MySQL中,然后根据自己理想的价格和配置,将适合的数据存入表格并用附件的方
式发给自己的邮件(本来是想当某款喜欢的电脑降价之后邮件通知我的,想想太麻烦了,就没这么做)。
今天我们要爬取的是中关村在线网站,这是个常见并且还比较权威的评测网站,每天都会发布各类产品的促销信息及各种文章新闻。
首先我们打开这个网站,并在搜索框中输入电脑,点击产品,就出现了很多品牌的电脑列表。然后打开我们都自带基础抓包神器-开发模式(按F12或者其他游览器点击设置中的开发
者工具 ),一般点击network下的第一条数据就是我们的源代码了

大家可以看到,响应信息中就包含了页面上出现的文字和数据,还有其他图片的链接等等,这是个比较简单的静态网页,那对于数据的抓取就简单多了。接下来我就可以利用开发工
具自带页面元素检查按钮来查看数据位于节点的位置了
如果想要查看具体的节点位置,可在绿色方框中点击元素右键出现一个copy,根据自己利用的解析工具会有不同的复制格式,这里我统一用的是Xpath。后面的步骤就不详说了,直
接来说思路:
首先利用请求主页的URL来获取主页源代码,在源代码中利用Xpath把不同品牌的URL提取出来,在根据这些URL分别请求不同品牌的列表页面,再利用Xpath将列表中所有款式的
URL提取出来,然后请求出单个款式的页面,名字价格参数都在里面。由于数据过大,就利用了队列与多线程来控制程序,分别有三个队列:
1.用来存放URL的队列
2.用来存放单个款式页面的队列
3.用来存放最后提取的数据的队列
利用消息队列可以很好的保证在线程结束前数据不会丢失,保证了数据的传递,并且还是先进先出的数据格式。
二、代码解析二、代码解析
接下来我们来分析代码:
定义__init__方法创建URL队列,页面队列和数据队列
def __init__(self):
super(comSpider, self).__init__()
self.headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36'}
self.url_head='http://detail.zol.com.cn'
#url队列
self.url_queue=Queue()
#单个页面队列
self.page_queue=Queue()
#数据队列
self.data_queue=Queue()
剩余6页未读,继续阅读






















weixin_38631738
- 粉丝: 5
上传资源 快速赚钱
我的内容管理 展开
我的资源 快来上传第一个资源
我的收益
登录查看自己的收益我的积分 登录查看自己的积分
我的C币 登录后查看C币余额
我的收藏
我的下载
下载帮助


最新资源
- 2019年网络销售工作总结范文.doc
- 2019年网络销售计划书.doc
- 2019年网络销售工作总结范文三篇.doc
- 2019年网络销售年度个人工作总结.doc
- 2019年网络销售年终总结范文大全.doc
- 2019年网络销售心得和销售工作总结.doc
- 2019年网络销售年终总结范文.doc
- 2019年网络销售年度工作总结的范文.doc
- 2019年网络销售年终个人工作总结.doc
- 2019年网络销售年终总结报告.doc
- 2019年网络营销工作计划范文.doc
- 2019年网络销售月工作总结范文格式.doc
- 2019年网络营销策划书范文编写思路.doc
- 2019年网络营销工作计划书范文.doc
- 2019年网络营销计划(精品).doc
- 2019年网络营销计划(精选).doc
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈



安全验证
文档复制为VIP权益,开通VIP直接复制

评论0