python 中xpath爬虫实例详解

python 中中xpath爬虫实例详解爬虫实例详解

主要介绍了python实例：xpath爬虫实例,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可

以参考下

案例一：

某套图网站，套图以封面形式展现在页面，需要依次点击套图，点击广告盘链接，最后到达百度网盘展示页面。

这一过程通过爬虫来实现，收集百度网盘地址和提取码，采用xpath爬虫技术

1、首先分析图片列表页，该页按照更新先后顺序暂时套图封面，查看HTML结构。每一组“li”对应一组套图。属性href后面即为套图的内页地

址（即广告盘链接页）。所以，我们先得获取列表页内所有的内页地址（即广告盘链接页）

html = etree.HTML(wb_data) 将页面转换成文档树

b = html.xpath('//ul[@class = "clearfix"]//@href') 这一步的意思是class“clearfix”下所有属性为“href”赋值给“b”，因为我们的目标内容都展示在class“clearfix”下，且在href属性后面

print(b) 打印b，这里的b是一个数组

print(b[0]) 打印b的第一项数据

执行结果：成功返回所有内页

2、打开内页（即广告盘链接页），获取广告盘地址。下图红色箭头，还不是真正的百度盘页，需要点击后才可以看的到百度盘的地址。所以

这一步骤，只需要抓取红色箭头内容地址；