Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能示例
版权申诉
149 浏览量
2020-09-20
11:42:19
上传
评论
收藏 69KB PDF 举报
Python基于基于lxml模块解析模块解析html获取页面内所有叶子节点获取页面内所有叶子节点xpath
路径功能示例路径功能示例
主要介绍了Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能,结合实例形式较为详细的分析
了Python使用lxml模块进行xml节点数据解析的相关操作技巧与注意事项,需要的朋友可以参考下
本文实例讲述了Python基于lxml模块解析html获取页面内所有叶子节点xpath路径功能。分享给大家供大家参考，具体如下：
因为需要使用叶子节点的路径来作为特征，但是原始的lxml模块解析之后得到的却是整个页面中所有节点的xpath路径，不是
我们真正想要的形式，所以就要进行相关的处理才行了，差了很多网上的博客和文档也没有找到一个是关于输出html中全部叶
子节点的API接口或者函数，也可能是自己没有那份耐心，没有找到合适的资源，只好放弃了寻找，但是这并不说明没有其他
的方法了，在对页面全部节点的xpath输出之后观察得到的结果就是：
1.路径之间存在包含性
2.叶子节点的路径必然包含上一个叶子节点路径到下一个叶子节点路径之间的路径
3.所有的叶子节点均不存在包含性
基于这些观察就可以实践了，我采用的方法是，设置一个标志位，如果当前路径被下一条路径包含的话就把下标加1处理，直
到遇上不包含的情况是这一条路径就是一条叶子节点路径，加入结果列表即可，经检验和原始路径列表对比后，结果路径列表
均不存在包含性，暂可认为均为叶子节点的路径，不敢确定的说是因为：竟没有大量做实验观察是否有另类，不过方法是可行
的，下面是具体实现：
#!usr/bin/env python
#encoding:utf-8
'''''
__author__:沂水寒城
功能：得到页面的叶子节点的xpath
'''
def get_leaf_node_xpath(one_page_xpath):
'''''
输入：一个页面的原始xpath路径列表
输出：只包含页面的叶子节点的xpath列表
'''
one_page_xpath.append('0')
leaf_node_xpath_list=[]
for i in range(len(one_page_xpath)-1):
j=i+1
one_xpath=one_page_xpath[i]
two_xpath=one_page_xpath[j]
if one_xpath in two_xpath:
one_xpath=two_xpath
two_xpath=one_page_xpath[j+1]
else:
leaf_node_xpath_list.append(one_xpath)
return leaf_node_xpath_list
if __name__ == '__main__':
with open('baidu.txt') as f:
html=f.read()
htree, one_page_xpath=get_clean_allnodes_xpath(html)
leaf_node_xpath_list=get_leaf_node_xpath(one_page_xpath)
print leaf_node_xpath_list
with open('data/dom_leaf_xpath/original_xpath.txt', 'w') as f1:
for one_line in one_page_xpath:
f1.write(one_line.strip()+'')
with open('data/dom_leaf_xpath/leaf_xpath.txt', 'w') as f2:
for one_line in leaf_node_xpath_list:
f2.write(one_line.strip()+'')
打开保存的文件内容为：
original_xpath.txt内容为：
/html
/html/head
/html/head/meta[1]
/html/head/meta[2]
/html/head/meta[3]
/html/head/meta[4]
/html/head/title
/html/body
资源评论
