Python爬虫进阶之多线程爬取数据并保存到数据库爬虫进阶之多线程爬取数据并保存到数据库
今天刚看完崔大佬的《python3网络爬虫开发实战》，顿时觉得自己有行了，准备用appium登录QQ爬取列表中好友信息，接踵而来的是一步一步的坑，前期配置无数出错，安装之后
连接也是好多错误，把这些错误解决之后，找APPactivity的值又让我绕了一大圈，找到值后又在权限上无法授权。
正当我手足无措的准备放弃的时候，我突然看到Charles，可以直接对APP抓包，在配置上有事一步一个坑后，当我准备抓取抖音视频评论的时候一堆乱码，我反手就是一巴掌
为了避免这种尴尬，以及我突然想写博客的心情，我决定还是为大家在进行一次简易爬虫展示，总体程序我会利用多线程的方式来充分利用CPU的空闲时间，其中我也会加入数据
库，有机会的话还想用邮件模块来为大家展示定时给自己发送邮件。哈哈哈，本博主就是喜欢如此花里胡哨。
一、网页分析一、网页分析
首先我的想法是爬取一个网站来获取所有品牌的电脑，以及价格和主要的参数，并将这些数据写入MySQL中，然后根据自己理想的价格和配置，将适合的数据存入表格并用附件的方
式发给自己的邮件（本来是想当某款喜欢的电脑降价之后邮件通知我的，想想太麻烦了，就没这么做）。
今天我们要爬取的是中关村在线网站，这是个常见并且还比较权威的评测网站，每天都会发布各类产品的促销信息及各种文章新闻。
首先我们打开这个网站，并在搜索框中输入电脑，点击产品，就出现了很多品牌的电脑列表。然后打开我们都自带基础抓包神器-开发模式（按F12或者其他游览器点击设置中的开发
者工具 ),一般点击network下的第一条数据就是我们的源代码了
评论0