基于《知网》的词汇语义相似度计算资源-CSDN文库

需积分: 38 111 浏览量 2015-05-17 11:31:13 上传评论收藏 103KB DOC 举报

展开

资源推荐

资源详情

资源评论

基于《知网》的词汇语义相似度计算

刘群

†‡

李素建

†

{liuqun,lisujian}@ict.ac.cn

†

中国科学院计算技术研究所

‡

北京大学计算语言学研究所

摘要：

《知网》是一部比较详尽的语义知识词典。在基于实例的机器翻译中，词

语相似度计算是一个重要的环节。不过，由于《知网》中对于一个词的语义采

用的是一种多维的知识表示形式，这给词语相似度的计算带来了麻烦。这一点

与 WordNet 和《同义词词林》不同。在 WordNet 和《同义词词林》中，所有同

类的语义项（WordNet 的 synset 或《同义词词林》的词群）构成一个树状结构，

要计算语义项之间的距离，只要计算树状结构中相应结点的距离即可。而在

《知网》中词语相似度的计算存在以下问题：

1．每一个词的语义描述由多个义原组成，例如“暗箱”一词的语义描述为：

part|部件,%tool|用具,body|身,“写信”一词的语义描述为：

#TakePicture|拍摄 write|写,ContentProduct=letter|信件；

2．词语的语义描述中各个义原并不是平等的，它们之间有着复杂的关系，

通过一种专门的知识描述语言来表示。

我们的工作主要包括：

1．研究《知网》中知识描述语言的语法，了解其描述一个词义所用的多个

义原之间的关系，区分其在词语相似度计算中所起的作用；

2．提出利用《知网》进行词语相似度计算的算法；

3．通过实验验证该算法的有效性，并与其他算法进行比较。

关键词：《知网》词汇语义相似度计算自然语言处理

1 引言

在基于实例的机器翻译中，词语相似度的计算有着重要的作用。例如要翻

译“张三写的小说”这个短语，通过语料库检索得到译例：

1）李四写的小说／the novel written by Li Si

2）去年写的小说／the novel written last year

本项研究受国家重点基础研究计划（973）支持，项目编号是 G1998030507-4 和 G1998030510。

通过相似度计算我们发现，“张三”和“李四”都是具体的人，语义上非常相似，

而“去年”的语义是时间，和“张三”相似度较低，因此我们选用“李四写的小说”这

个实例进行类比翻译，就可以得到正确的译文：

the novel written by Zhang San

如果选用后者作为实例，那么得到的错误译文将是：

* the novel written Zhang San

通过这个例子可以看出相似度计算在基于实例的机器翻译中所起的作用。

在基于实例的翻译中另一个重要的工作是双语对齐。在双语对齐过程中要

用到两种语言词语的相似度计算，这不在本文所考虑的范围之内。

除了基于实例的机器翻译之外，词语相似度计算在信息检索、信息抽取、

词义排歧等领域都有着广泛的应用。

2 词语相似度及其计算的方法

2.1 什么是词语相似度

什么是词语相似度？

我们认为，词语相似度是一个主观性相当强的概念。脱离具体的应用去谈

论词语相似度，很难得到一个统一的定义。因为词语之间的关系非常复杂，其

相似或差异之处很难用一个简单的数值来进行度量。从某一角度看非常相似的

词语，从另一个角度看，很可能差异非常大。

不过，在具体的应用中，词语相似度的含义可能就比较明确了。例如，在

基于实例的机器翻译中，词语相似度主要用于衡量文本中词语的可替换程度；

而在信息检索中，相似度更多的要反映文本或者用户查询在意义上的符合程度。

本文的研究主要以基于实例的机器翻译为背景，因此在本文中我们所理解

的词语相似度就是两个词语在不同的上下文中可以互相替换使用而不改变文本

的句法语义结构的程度。两个词语，如果在不同的上下文中可以互相替换且不

改变文本的句法语义结构的可能性越大，二者的相似度就越高，否则相似度就

越低。

相似度是一个数值，一般取值范围在[0,1]之间。一个词语与其本身的语义

相似度为 1。如果两个词语在任何上下文中都不可替换，那么其相似度为 0。

相似度这个概念，涉及到词语的词法、句法、语义甚至语用等方方面面的

特点。其中，对词语相似度影响最大的应该是词的语义。

2.2 词语相似度与词语距离

度量两个词语关系的另一个重要指标是词语的距离。

一般而言，词语距离是一个[0,∞)之间的实数。

一个词语与其本身的距离为 0。

词语距离与词语相似度之间有着密切的关系。

两个词语的距离越大，其相似度越低；反之，两个词语的距离越小，其相

似度越大。二者之间可以建立一种简单的对应关系。这种对应关系需要满足以

下几个条件：

1) 两个词语距离为 0 时，其相似度为 1；

2) 两个词语距离为无穷大时，其相似度为 0；

3) 两个词语的距离越大，其相似度越小（单调下降）。

对于两个词语 W

和 W

，我们记其相似度为 Sim(W

)，其词语距离为

Dis(W

)，那么我们可以定义一个满足以上条件的简单的转换关系：

…… (1)

其中 α 是一个可调节的参数。α 的含义是：当相似度为 0.5 时的词语距离值。

这种转换关系并不是唯一的，我们这里只是给出了其中的一种可能。

在很多情况下，直接计算词语的相似度比较困难，通常可以先计算词语的

距离，然后再转换成词语的相似度。所以在本文后面的有些章节，我们只谈论

词语的距离，而没有提及词语的相似度，读者应该知道这二者是可以互相转换

的。

2.3 词语相似度与词语相关性

度量两个词语关系的另一个重要指标是词语的相关性。

词语相关性反映的是两个词语互相关联的程度。可以用这两个词语在同一

个语境中共现的可能性来衡量。

词语相关性也是一个[0,1]之间的实数。

词语相关性和词语相似性是两个不同的概念。例如“医生”和“疾病”两个词语，

其相似性非常低，而相关性却很高。可以这么认为，词语相似性反映的是词语

之间的聚合特点，而词语相关性反映的是词语之间的组合特点。

同时，词语相关性和词语相似性又有着密切的联系。如果两个词语非常相

似，那么这两个词语与其他词语的相关性也会非常接近。反之，如果两个词语

与其他词语的相关性特点很接近，那么这两个词一般相似程度也很高。

2.4 词语相似度的计算方法

词语距离有两类常见的计算方法，一种是根据某种世界知识（Ontology）

来计算，一种利用大规模的语料库进行统计。

根据世界知识（Ontology）计算词语语义距离的方法，一般是利用一部同义

词词典（Thesaurus）。一般同义词词典都是将所有的词组织在一棵或几棵树状

的层次结构中。我们知道，在一棵树形图中，任何两个结点之间有且只有一条

路径。于是，这条路径的长度就可以作为这两个概念的语义距离的一种度量。

LBA

……

a b

01 02... 01… 01… …… 01

01 02... 01 ... 01 … 01 …… …

01 02…01...01 01 … 01 …… ...

虚线用于标识某上层节点到下层节点的路径

剩余13页未读，继续阅读

评论收藏

内容反馈

#完美解决问题
#运行顺畅
#内容详尽
#全网独家
#注释完整

wlxy1314

粉丝: 0
资源: 1

基于《知网》的词汇语义相似度计算

《基于＜知网＞的词汇语义相似度计算》

知网的词汇语义相似度计算1

改进的基于《知网》的词汇语义相似度计算

基于词林和知网的词语相似度计算python源代码--最新算法

一种基于知网的词汇语义相似度改进计算方法 (2009年)

基于知网(WordNet)的词语相似度计算

基于知网的词汇语义相似度计算方法研究_葛斌

基于知网词语相似度的计算C#

基于知网的语义相似度计算软件包

基于《知网》的词语相似度算法研究.pdf

基于知网的具有词素概率密度比的词相似度算法

基于知网的句子相似度研究

基于知网的词汇相似度计算源代码

知网-基于Java实现的知网的语义相似度计算.zip

知网语义相似度计算JAVA源码

《基于＜知网＞的词汇语义相似度计算》_刘群 李素建 1

基于语义相似度计算的词汇语义自动分类系统

基于HowNet的词汇语义倾向计算

知网基于混合层次结构的词相似度计算

wordnet语义相似度计算

句子语义相似度计算

词汇相似度计算_报告1

最新资源

《基于＜知网＞的词汇语义相似度计算》_刘群李素建 1