Python3爬虫中关于爬虫中关于Ajax分析方法的总结分析方法的总结
这里还以前面的微博为例,我们知道拖动刷新的内容由Ajax加载,而且页面的URL没有变化,那么应该到哪里去查看这些Ajax
请求呢?
1. 查看请求查看请求
这里还需要借助浏览器的开发者工具,下面以Chrome浏览器为例来介绍。
首先,用Chrome浏览器打开微博的链接https://m.weibo.cn/u/2830678474,随后在页面中点击鼠标右键,从弹出的快捷菜单
中选择“检查”选项,此时便会弹出开发者工具,如图6-2所示:
此时在Elements选项卡中便会观察到网页的源代码,右侧便是节点的样式。
不过这不是我们想要寻找的内容。切换到Network选项卡,随后重新刷新页面,可以发现这里出现了非常多的条目,如图6-3
所示。
前面也提到过,这里其实就是在页面加载过程中浏览器与服务器之间发送请求和接收响应的所有记录。
Ajax其实有其特殊的请求类型,它叫作xhr。在图6-3中,我们可以发现一个名称以getIndex开头的请求,其Type为xhr,这就
是一个Ajax请求。用鼠标点击这个请求,可以查看这个请求的详细信息,如图6-4所示。
评论0