产品经理爬虫的基本原理及应用场景.docx资源-CSDN文库

版权申诉

24 浏览量 2022-11-18 11:57:08 上传评论收藏 151KB DOCX 举报

资源推荐

资源详情

资源评论

什么是爬虫？爬虫就是使用任何技术手段，批量获取网站信息的一种方

式，关键在于批量。说白了其实就是模拟真正用户去请求获取大量数据。

下面将介绍爬虫的方式以及实际应用场景。

目录

1、爬虫的方式

2、爬虫的应用场景

3、反爬虫策略

爬虫的方式

爬虫从网页交互维度，主要分成 2 种方式，分别是常规爬虫和自动化爬

虫。

1、常规爬虫

常规爬虫也叫裸写代码爬虫，是最原始的一种爬虫方式。

比如想爬取微博热搜榜，需要经过 3 个步骤：

1、确定目标地址

分析页面请求格式找到微博实时热搜的网页地址：

2、目标信息解析

请求到具体页面后，需要解析页面里面的数据，爬取回来的页面，实际是

一堆前端代码，通过 dom api 去读取代码里面的数据，比如你想要拿到每条热

搜的名称，那就需要拿到热搜名称在网页 dom 结构中的路径。

3、数据存储

解析出目标信息后，可存入数据库或者写入文件中，以备后续使用。

小结：可以看出常规爬虫，必须要提前知道需要爬取的每个页面的具体地

址，而且只能一个一个网页地爬取，不能整站爬取；每个页面都要写相应的代

码去模拟请求，比较麻烦。

随着时代的发展，自动化爬虫框架应运而生。往下看～

2、自动化爬虫

自动化爬虫框架有好几款，下面介绍比较经典的 puppeteer 框架。

puppeteer 是谷歌浏览器出的无界面(headless)chrome 工具，它提供了一个高

级的 api 来控制无头(无界面)的 chrome。

puppeteer 可以模拟大部分的用户操作，包括点击、滚动、悬浮、聚焦等大

部分交互，所以只要你知道了一个网站的首页地址，就可以通过调用 api 去模

拟用户操作来爬取整个网站的数据。

比如你想抓取百度里面 python 的搜索数据，那只需要调用 api 模拟键盘输

入“python”=> ente点r=击> 搜索项=> 解析爬取内容就可以了。

接下来看下 puppeteer 爬虫的更多应用场景。

爬虫的应用场景

前面有说了 puppeteer 自动化爬虫框架，很多应用场景也是基于 puppeteer

而诞生的。

1、抓取网页数据

因爬虫数据而诞生的产品，比如比价购物、各种热搜排行、舆情追踪、新

闻追踪、盗版 vip 视频网站等等。

2、UI 自动化测试

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余1页未读，立即下载

内容反馈

版权申诉

xxpr_ybgg

粉丝: 6559
资源: 3万+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip