web前端-基于CSS选择器的Web信息抽取的研究与实现.pdf

I!

摘 要

随着 Web2.0 的兴起和移动互联网出现的普及，互联网已经逐渐成为人们获取信息

的主要渠道。各类 UGC（User Generated Content）网站的流行，使得互联网上产生了大

模式，以低耦合的方式实现了基于该方法 Web 信息抽取系统。抽取系统采用了用户标

记的形式来获取数据记录的特征属性。这一方式相较与传统的基于 DOM 的 Web 信息抽

取方法，在网页结构发生变化时，也能保证抽取的正确性和有效性。同时为了保证抽取

的完备性，设计了基于 CSS 选择器的抽取方法和 URL 比较法相结合的相似页面 URL

获取方法。经过抽取实验表明，抽取系统对于多页面的 Web 信息抽取也有较好的抽取

效果。基于 MVVM 设计模式开发的抽取系统有着更低的耦合性，这使得后续对抽取系

统进行扩展成为可能。本文最后使用该抽取系统对亚马逊网站的商品评论信息进行抽取

实验，证明了抽取方法和抽取系统设计的有效性。

关键词：Web 信息抽取 CSS 选择器 MDR 算法 MVVM

I

more difficult. Web information extraction technology research has been expanded. In recent

years, Web information extraction methods have been proposed, but have different emphases

on these extraction methods in achieving in their degree of automation and applicability has

great room for improvement.

This study proposed a method for Web information extraction based on CSS selectors,

on the basis of the MDR, and combines the characteristics of CSS, have broader applicability.

And combined with a new MVVM design pattern in a loosely coupled manner to achieve a

Web information extraction system based on this method. Extraction system uses the user’s

input to obtain characteristics of a data record in a form of attributes. This approach compared

with the traditional methods of Web information extraction based on DOM, when the page

system. And the extraction system was used on the Amazon product review information

extraction experiments to demonstrate the effectiveness of the extraction method and

extraction system.

Key words: Web Information Extraction; CSS Selector; MDR; MVVM

I

摘 要 ...................................................... I!

Abstract ................................................... II!

1! 绪论 ..................................................... 1!

3! 抽取系统的设计与实现 ..................................... 29!

4! 亚马逊网站商品评论信息的抽取实验 .......................... 38!

5! 总结与展望 .............................................. 44!

随着 Web2.0 的兴起和移动互联网的出现，互联网已经逐渐成为人们获取信息的主

要方式之一。各类 UGC（User Generated Content）网站日益流行的同时，互联网上产生

了大量由用户产生的内容，例如用户留言、商品评论等。Web 上的信息资源不断丰富、

信息扩散速度不断提升的同时，Web 信息过载、信息质量降低等问题也日益严重，用户

获取有效信息变得更加困难。

在互联网上，信息大多以 HTML 网页的形式呈现。HTML 文档本身是一种半结构

，这种数据格式更适合用户去浏览，而不便于由机器直接读

网新技术的出现和 MVC、MVVM 等开发模式的流行，网页的结构和形式在不断变化，

Web 信息抽取技术也必须随之进步以保证其对新网站适应性。

综合以上所述，对 Web 信息抽取的研究是有实际意义的。

信息抽取的概念早在上世纪 60 年代开始被学者提出，最早的研究是从自然语言文

本中提取结构化信息的相关技术

。随着在线和离线文本数量的几何级增长，信息抽取

的研究工作逐渐受到研究者的关注。消息理解系列会议（MUC，Message Understanding

Conference）召开以来，信息抽取技术相关的研究不断发展，现在已经成为了自然语言

纳分析。所以如何从网页中的半结构化的信息中识别出特定的内容，在此基础上运用工

具和方法进一步将这部分内容转化成结构化、语义化的数据格式提供给用户，正是 Web

信息抽取技术所要解决的问题。

早期最基本的 Web 信息抽取主要由包装器（wrapper）来实现网页数据的抽取，运

用包装器归纳系统来抽取信息首先需要生成对应的模板。在早期的包装器系统中，这一

步骤需要依靠人工逐一对网页进行标记来完成，如 Stalker

等，十分耗费人力且不易于

维护。AutoWrapper

新系统的半自动化体现在其网页标记过程只需要人工对单一的样本网页进行标记，标记

按照字符串进行排序，与某一阈值进行比较来进行网页信息的抽取。这类方法对于

标签进行布局。这类抽取方法有很大的局限性。

Wang 等人

链的方式找到需要抽取的网页。并提出了 URL 的相似性算法来筛除广告链接等无关链

接。该方法对于每个带抽取网页都需要重复进行处理，抽取效率较低。

RoadRunner

系统中提出了基于 DOM 树比较的算法。该方法通过处理 DOM 树之

间的不匹配来标记带抽取区域。但对于网页的规范化要求较高，而且没有提出网页预处

理方案。