搜索引擎-主题搜索引擎的信息抽取和索引的研究.pdf

II

ABSTRACT

With the explosion of World Wide Web, “Information Overload” has become a

serious problem. To help people accurately get the piece of information what he wants

from the Web, information extraction from web pages is necessary. The program that

performs this task is called wrapper. The key requirements are that a wrapper can be

We apply standard technologies of XML to web information extraction problem.

With standard XSLT, we can exploit strong and flexible features of the language to

construct simple, robust and general extraction rules. We have developed a platform to

these methods is put forward to generate simple.these methods have been used in the

III

目 录

2.3 wrapper 构建技术的分类 ......................................................................... 6

2.4.1 W4F............................................................................................................ 8

2.4.2 XWRAP ..................................................................................................... 8

2.4.3 EXALG...................................................................................................... 9

2.4.4 Road Runner .............................................................................................. 9

2.4.5 国内的信息抽取研究 ............................................................................ 10

3.1.3 DOM ........................................................................................................ 14

3.1.4 XPath ....................................................................................................... 15

3.1.5 XSLT........................................................................................................ 15

3.1.6 用 Java 进行 XSLT 扩展........................................................................ 16

3.2.1 系统的设计目标 .................................................................................... 16

3.2.2 系统设计的基本思路 ............................................................................ 16

IV

3.4.1 抽取规则库 ............................................................................................ 19

3.4.2 抽取结果数据库和 Web 页面数据库 ................................................... 19

4.2.1 路径与内容结合方法 ............................................................................ 33

4.2.2 完全基于文本的方法 ............................................................................ 34

4.2.3 基于属性的方法 .................................................................................... 35

4.2.4 几种方法的比较 .................................................................................... 35

参 考 文 献.......................................................................................................... 45

附 录 ............................................................................................................... 48

育、艺术联系在一起，构成了一个巨大的网络。其中 WWW(World Wide Web)

蕴藏着具有巨大潜在价值的知识。这些知识以及 Web 页面的访问和使用记录信

战，与传统的数据挖掘相比，Web 信息抽取有自身的特点。

的范畴。其次，Web 在逻辑上是一个由文档节点和超链接构成的图，因此 Web

抽取所得到的模板可能是关于 Web 内容的，也可能是关于 Web 结构的。再次，

由于 Web 文档是半结构化或无结构的，且缺乏机器理解的语义，而数据挖掘的

因此传统的数据挖掘技术并不能直接的应用于 Web 信息抽取。

信息不收录。

微软研究院一名技术专家说：“75%的内容通用搜索引擎搜索不出来”

。而主 题

多、更专业、个性化的行业相关服务。

题规范的网页，然后进行网页净化，使之符合抽取的规范

。

取的信息进行中文分词，建立倒排索引，生成索引文件，存储到数据库中。