2017-3基于抽象概念的知网词语相似度计算_朱新华1
需积分: 0 168 浏览量
2022-08-04
15:51:20
上传
评论
收藏 621KB PDF 举报
２０１７
年
３
月
第
３８
卷
第
３
期
计算机工程与设计
ＣＯＭＰＵＴＥＲ
ＥＮＧＩＮＥＥＲＩＮＧ
ＡＮＤ
ＤＥＳＩＧＮ
Ｍａｒ．２０１７
Ｖｏｌ．３８
Ｎｏ．３
基于抽象概念的知网词语相似度计算
朱新华
１
，
２
，
郭小华
１
，
邓
涵
１
，
马润聪
１
（
１．
广西师范大学 计算机科学与信息工程学院
，
广西 桂林
５４１００４
；
２．
广西区域多源信息集成与智能处理协同创新中心
，
广西 桂林
５４１００４
）
摘
要
：
针对基于知网的词语相似度算法进行研究
，
提出一种基于抽象概念的词语相似度的快速计算方法
。
将
《
知网
》
义
项语义表达式中带有关系约束的第一独立义原定义成抽象概念
，
将义项语义表达式转换成一个多层次的抽象概念组
；
根据
义项定义中的抽象概念将义项挂到
《
知网
》
现有的义原树中
，
形成一棵包含义原
、
抽象概念与义项等概念的义项树
；
利用
义项树中的深度与路径
，
在现有优秀算法基础上
，
通过适当的义项定义的预处理与参数调节
，
直接计算义项间的语义相似
度
，
避免复杂的意义相似性计算
。
实验结果表明
，
该方法对于
ＭＣ３０
词对的相似度计算值与人工判定值相比
，
取得了
０．８４
的
Ｐｅａｒｓｏｎ
相关系数
，
达到了目前优秀词语相似度算法的水平
。
关键词
：
词语相似度
；
知网
；
义项树
；
抽象概念
；
最短路径
；
深度
中图法分类号
：
ＴＰ３９１
文献标识号
：
Ａ
文章编号
：
１０００
－
７０２４
（
２０１７
）
０３
－
０６６４
－
０７
ｄｏｉ
：
１０．１６２０８
／
ｊ
．ｉｓｓｎ１０００
－
７０２４．２０１７．０３．０２０
收稿日期
：
２０１６
－
０１
－
０６
；
修订日期
：
２０１６
－
０３
－
１０
基金项目
：
国家自然科学基金项目
（
６１４６２０１０
、
６１３６３０３６
）
作者简介
：
朱新华
（
１９６５
－
），
男
，
广西桂林 人
，
教授
，
研究方向为自然语言处理
、
智能教学系统等
；
郭小 华
（
１９９２
－
），
女
，
湖北 武 汉人
，
硕士研究生
，
研究方向为自然语言处理
；
邓涵
（
１９９１
－
），
女
，
湖北荆州人
，
硕士研究生
，
研究方向为自然语言处理
；
马润聪
（
１９８９
－
），
男
，
湖北洪湖人
，
硕士研究生
，
研究方向为自然语言处理
。
Ｅ
－
ｍａｉｌ
：
ｚｘｈ４２９
＠
２６３．ｎｅｔ
Ｗｏｒｄ
ｓｉｍｉｌａｒｉｔ
ｙ
ｃａｌｃｕｌａｔｉｏｎ
ｂａｓｅｄ
ｏｎ
ａｂｓｔｒａｃｔ
ｃｏｎｃｅ
ｐ
ｔ
ｉｎ
ＨｏｗＮｅｔ
ＺＨＵ
Ｘｉｎ
－
ｈｕａ
１
，
２
，
ＧＵＯ
Ｘｉａｏ
－
ｈｕａ
１
，
ＤＥＮＧ
Ｈａｎ
１
，
ＭＡ
Ｒｕｎ
－
ｃｏｎ
ｇ
１
（
１．Ｃｏｌｌｅ
ｇ
ｅ
ｏｆ
Ｃｏｍ
ｐ
ｕｔｅｒ
Ｓｃｉｅｎｃｅ
ａｎｄ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｔｅｃｈｎｏｌｏ
ｇｙ
，
Ｇｕａｎ
ｇ
ｘｉ
Ｎｏｒｍａｌ
Ｕｎｉｖｅｒｓｉｔ
ｙ
，
Ｇｕｉｌｉｎ
５４１００４
，
Ｃｈｉｎａ
；
２．Ｃｏｌｌａｂｏｒａｔｉｖｅ
Ｉｎｎｏｖａｔｉｏｎ
Ｃｅｎｔｅｒ
ｏｆ
Ｍｕｌｔｉ
－
Ｓｏｕｒｃｅ
Ｉｎｆｏｒｍａｔｉｏｎ
Ｉｎｔｅ
ｇ
ｒａｔｉｏｎ
ａｎｄ
Ｉｎｔｅｌｌｉ
ｇ
ｅｎｔ
Ｐｒｏｃｅｓｓｉｎ
ｇ
ｉｎ
Ｇｕａｎ
ｇ
ｘｉ
，
Ｇｕｉｌｉｎ
５４１００４
，
Ｃｈｉｎａ
）
Ａｂｓｔｒａｃｔ
：
Ｂ
ｙ
ｒｅｓｅａｒｃｈｉｎ
ｇ
ｗｏｒｄ
ｓｉｍｉｌａｒｉｔ
ｙ
ａｌ
ｇ
ｏｒｉｔｈｍｓ
ｂａｓｅｄ
ｏｎ
ＨｏｗＮｅｔ
，
ａｎ
ｅｆｆｉｃｉｅｎｔ
ｍｅｔｈｏｄ
ｆｏｒ
ｃａｌｃｕｌａｔｉｎ
ｇ
ｗｏｒｄ
ｓｉｍｉｌａｒｉｔ
ｙ
ｂａｓｅｄ
ｏｎ
ｔｈｅ
ａｂｓｔｒａｃｔ
ｃｏｎｃｅ
ｐ
ｔ
ｗａｓ
ｐ
ｕｔ
ｆｏｒｗａｒｄ．Ｔｈｅ
ｆｉｒｓｔ
ｉｎｄｅ
ｐ
ｅｎｄｅｎｔ
ｓｅｍｅｍｅ
ｗｉｔｈ
ｒｅｌａｔｉｏｎｓｈｉ
ｐ
ｃｏｎｓｔｒａｉｎｔｓ
ｉｎ
ｔｈｅ
ｓｅｍａｎｔｉｃ
ｅｘ
ｐ
ｒｅｓｓｉｏｎ
ｏｆ
ａ
ｓｅｎｓｅ
ｗａｓ
ｄｅｆｉｎｅｄ
ａｓ
ａｎ
ａｂｓｔｒａｃｔ
ｃｏｎｃｅ
ｐ
ｔ
，
ａｎｄ
ｔｈｅ
ｓｅｍａｎｔｉｃ
ｅｘ
ｐ
ｒｅｓｓｉｏｎ
ｏｆ
ｔｈｅ
ｍｅａｎｉｎ
ｇ
ｓ
ｗａｓ
ｔｒａｎｓｆｅｒｒｅｄ
ｉｎｔｏ
ａ
ｍｕｌｔｉ
－
ｌｅｖｅｌ
ａｂ
－
ｓｔｒａｃｔ
ｃｏｎｃｅ
ｐ
ｔ
ｇ
ｒｏｕ
ｐ
．Ａｃｃｏｒｄｉｎ
ｇ
ｔｏ
ｔｈｅ
ａｂｓｔｒａｃｔ
ｃｏｎｃｅ
ｐ
ｔ
ｉｎ
ｔｈｅ
ｄｅｆｉｎｉｔｉｏｎ
ｏｆ
ａ
ｓｅｎｓｅ
，
ｔｈｅ
ｓｅｎｓｅｓ
ｗｅｒｅ
ｈｕｎ
ｇ
ｏｎ
ｔｈｅ
ｅｘｉｓｔｉｎ
ｇ
ｓｅｍｅｍｅ
ｔｒｅｅ
ｉｎ
ｔｈｅ
ＨｏｗＮｅｔ
ａｎｄ
ａ
ｓｅｎｓｅ
ｔｒｅｅ
ｔｈａｔ
ｃｏｎｔａｉｎｉｎ
ｇ
ａｌｌ
ｔｈｅ
ｃｏｎｃｅ
ｐ
ｔｓ
ｗａｓ
ｆｏｒｍｅｄ．Ｔｈｒｏｕ
ｇ
ｈ
ｔｈｅ
ｐ
ｒｏ
ｐ
ｅｒ
ｐ
ｒｅｔｒｅａｔｍｅｎｔ
ａｎｄ
ｐ
ａｒａｍｅｔｅｒ
ａｄ
ｊ
ｕｓｔｍｅｎｔ
ｏｆ
ｔｈｅ
ｓｅｎｓｅｓ
’
ｄｅｆｉｎｉｔｉｏｎ
，
ｕｓｉｎ
ｇ
ｄｅ
ｐ
ｔｈ
ａｎｄ
ｐ
ａｔｈ
ｉｎ
ｔｈｅ
ｓｅｎｓｅ
ｔｒｅｅ
ａｎｄ
ｉｍ
ｐ
ｒｏｖｉｎ
ｇ
ｔｈｅ
ｅｘｉｓｔｉｎ
ｇ
ｏｕｔｓｔａｎｄｉｎ
ｇ
ａｌ
ｇ
ｏｒｉｔｈｍ
，
ｔｈｅ
ｓｅｍａｎｔｉｃ
ｓｉｍｉｌａｒｉｔ
ｙ
ｂｅｔｗｅｅｎ
ｔｈｅ
ｓｅｎｓｅｓ
ｗａｓ
ｄｉｒｅｃｔｌ
ｙ
ｃａｌｃｕｌａｔｅｄ
ａｎｄ
ｔｈｅ
ｃｏｍ
ｐ
ｌｉｃａｔｅｄ
ｍｅａｎｉｎ
ｇ
ｓｉｍｉｌａｒｉｔ
ｙ
ｃａｌｃｕｌａｔｉｏｎ
ｗａｓ
ａｖｏｉｄｅｄ．
Ｔｈａｔ
ｔｈｅ
Ｐｅａｒｓｏｎ
ｃｏｒｒｅｌａｔｉｏｎ
ｃｏｅｆｆｉｃｉｅｎｔ
ｂｅｔｗｅｅｎ
ｔｈｅ
ｈｕｍａｎ
ｊ
ｕｄ
ｇ
ｍｅｎｔｓ
ｉｎ
ＭＣ３０ｄａｔａｓｅｔ
ａｎｄ
ｔｈｅ
ｃｏｍ
ｐ
ｕｔａｔｉｏｎａｌ
ｍｅａｓｕｒｅｓ
ｐ
ｒｅｓｅｎ
－
ｔｅｄ
ｉｎ
ｔｈｉｓ
ａ
ｐｐ
ｒｏａｃｈ
ｉｓ
０．８４ｉｓ
ｓｈｏｗｅｄ
ｉｎ
ｔｈｅ
ｅｘ
ｐ
ｅｒｉｍｅｎｔｓ
，
ｗｈｉｃｈ
ａｃｈｉｅｖｅｓ
ｔｈｅ
ｃｅｖｅｌ
ｏｆ
ｇ
ｏｏｄ
ｗｏｒｄ
ｓｉｍｉｌａｒｉｔ
ｙ
ａｌ
ｇ
ｏｒｉｔｈｍｓ．
Ｋｅ
ｙ
ｗｏｒｄｓ
：
ｗｏｒｄ
ｓｉｍｉｌａｒｉｔ
ｙ
；
ＨｏｗＮｅｔ
；
ｓｅｎｓｅ
ｔｒｅｅ
；
ａｂｓｔｒａｃｔ
ｃｏｎｃｅ
ｐ
ｔ
；
ｓｈｏｒｔｅｓｔ
ｐ
ａｔｈ
；
ｄｅ
ｐ
ｔｈ
０
引
言
目前词语相似度计算方法大致可以分为以下两种
：
一
种是基于大规模语料库进行统计和计算
；
另一种是基于世
界知识进行计算
［
１
］
。
目前
，
国内基于世界知识计算词语相
似度的方法主要有基于同义词词林
［
２
］
的词语相似度计算和
基于知网
［
３
］
的词语相似度计算
。
同义词词林的结构清晰
，
所有义项都在同 一 棵 大 树 中
，
因此非常便于使用直观的深
度与路径方法计算词语相似度
；
而在
《
知网
》
中
，
只存 在
一棵义原树
，
并没有给出义项树
，
而是给出了义项的定义
CyberNinja
- 粉丝: 20
- 资源: 297
最新资源
- 基于yolov5识别算法实现的DNF自动脚本源码.zip
- 基于Python实现的自动化办公项目.zip
- 基于python实现的基于PyQt5和爬虫的小说阅读系统.zip
- 机械设计整经机上纱自动化sw20非常好的设计图纸100%好用.zip
- Screenshot_20240427_031602.jpg
- 网页PDF_2024年04月26日 23-46-14_QQ浏览器网页保存_QQ浏览器转格式(6).docx
- 直接插入排序，冒泡排序，直接选择排序.zip
- 在排序2的基础上，再次对快排进行优化，其次增加快排非递归，归并排序，归并排序非递归版.zip
- 实现了7种排序算法.三种复杂度排序.三种nlogn复杂度排序（堆排序，归并排序，快速排序）一种线性复杂度的排序.zip
- 冒泡排序 直接选择排序 直接插入排序 随机快速排序 归并排序 堆排序.zip
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
评论0