标题:内涵段子爬虫案例
21世纪是数据时代,而数据的采集,数据的清洗,数据的处理与分析已经成为时代发展的必然,因此爬虫成为了一门必不可少的技术。话不多逼逼,直奔主题:
1. 开发环境
[ 语言] python 3.7.0
[解释器] vscode
[辅助工具] fiddler 4.0
[浏览器] firefox chrome
2. 开发步骤
[ url地址]内涵段子吧地址
1、网页分析
打开firefox,打开链接后,按shift+ctrl+e 打开开发者模式,查看网页源代码,同时打开fiddler对网页进行解析。
2、规律查找
(1)发现从第二页开始网页的域名以及参数规律
“https