基于heritrix的web信息抽取学位论文.doc

基于 Heritrix 的 Web 信息抽取.txt28 生活是一位睿智的长者，生活是一位博学的老师，它

常常春风化雨，润物无声地为我们指点迷津，给我们人生的启迪。不要吝惜自己的爱，敞开

自己的胸怀，多多给予，你会发现，你也已经沐浴在了爱河里。基于.. Heirx 的.. We

rtib 信息抽取

陈俊彬曹树金

中山大学资讯管理系广州 5100

006

[摘要]针对现阶段 Web 信息抽取技术的不足，提出一种基于 Heritrix 的精确抽取方法，由三

个分别独立的功能模

omainExrcinBaenHeirx

eun ahnChnJnbiCoSuji

DepartmentofInformationManagement，SunYat—senUniversity，Guangzhou510006

[Abtathsaeitoueaehdoac

ccrtifrainetatoaeoeirxac

ccrigthhrafWeno

src]TipprnrdcsmtofuaenomtoxrcinbsdnHrtiodnotesotgeobifrmaroxrcintcnlg ． h

ytmiooeftrersetvdueeetfosaafifrtoxrcin，inetatoehooyTessescmpsdoheepciemol．Dif

ffrnrmuulwyonomainetato

thtd iounpeciionael

tba

yod]HrtinomainetatoMLasrWenomainaqiiin

的信息抽取技术需要用户的大量参与，但自动化程度

较低，实用性较差。即使是机器学习，也要通过大量的

Web 信息抽取(Webinformationextraction，WIE)的样本学习来提高获取规则的自动化程度，

目标是把文本里包含的信息进行结构化处理，转化成统需要经过较长时间的学习才能获得较

好的查准率。

原理出发，可

和社会信息等最重要和最具潜力的巨大信息源。面对以将信息抽取技术划分为 4 个类别：①

基于自然语言

如此巨大的互联网信息库，如何快速、有效、经济地得理解方式；②基于 ontology 方式；③

基于网页结构特征

到某个主题的所有相关信息就成了当前一个十分热门方式；④基于统计学习的方式。基于自

然语言理解方

的研究课题。与传统的信息资源相比，Web 上信息资式的信息抽取在一定程度上借鉴了自然

语言处理技

源有着分布性、异构性、开放性、动态性和庞大性等特术，利用子句结构、短语和子句间的

各不相同，也使得 Web 上的信息资源不能被有效的利度慢，使用范围窄，很难做到通用。基

的热点。结构的依赖较少。只要事先创建的应用领域的 ontolo-

g)r 足够强大，系统可以对某一应用领域中各种网页实

2 艾献绿述现信息抽取。目前只能对特定领域构建，并且还只能

采用半自动的方式由人工参与，这样使得该方法要求

在.. Web 信息抽取领域中，信息抽取的准确性和通很高，工作量巨大。基于网页结构特征方

式的特点

用性之间的矛盾一直是该研究领域的难题。性能较好是根据 Web 页面的结构来定位信息，在

信息抽取之前

008—07—2

22 修日期：20

008—09—11 本文起 Ij：贞码：1

112。LIBRARY AND INFORM ATION SERVICE。