浅谈解析库XPath，bs4和pyquery
139 浏览量
2020-12-21
18:26:57
上传
评论 1
收藏 449KB PDF 举报
浅谈解析库浅谈解析库XPath，，bs4和和pyquery
《浅谈解析库《浅谈解析库XPath，，bs4和和pyquery》》
作者：作者：
墨非墨菲非菲墨非墨菲非菲
前几天在CSDN看到一篇帖子，题目是“如何让自己像打王者一样发了疯，拼了命，石乐志的学习”。这里面讲到了阶段性反馈机制，我觉得蛮有意思的，正好前两天用python写了一个
scrawler爬取了某XXXX软件上面的挑战答题并自动匹配。在解析题库网页的时候碰到了一系列的问题，把三种解析库都回顾了个遍。借着这个兴奋劲儿，决定码一篇python解析库
————lxml，bs4，以及pyquery的简要概述。 :happy:
下面仅仅是我个人的回忆和记录，仅供参考，错误之处还请多多指正。
写在前面写在前面
以上提到的三个是python语言中最最最常用的三个解析库，解析库是用来提取网页的html信息的。首先要解释一下，网页中如此多的信息，为什么能够被精准的获取到。网页可以分
为三大部分————HTML,JavaScrip和CSS，这些要素构成了我们看到的丰富多彩的网页。
解析库基于网页的两类特征，一类是节点树（HTML DOM)，一类是css选择器。如果把节点树比作一个家庭，那么它就包含了它爷爷，它老汉（parent），它兄弟（sibling）以及它
儿子和孙孙（children）。有了这个节点树，网页里面每一个元素就层级分明的展现了出来。 具体
的，构成这棵树的枝节，又包根元素（html），元素（title，body，a…），属性（class，href…）和文本等等。css，即层叠样式表，它有一套属于自己的语法规则，举个例子，选
择器（.link）代表了’class=“link”’，（#song）代表了’id=“song”’，（a）代表了’a’的所有节点。
评论0