没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
一种基于软构件描述文本信息抽取的检索方法一种基于软构件描述文本信息抽取的检索方法
通过对目前应用广泛的软构件检索技术的研究,提出了一种基于软构件描述文本信息抽取的检索方法。该方法
利用中文分词技术和向量空间模型中“词频与倒文档频度”算法抽取关键词,通过《知网》语义相似度,计算用户
需求与可重用软构件的匹配度,实现了对软构件的语义检索,能实现模糊查询,具有一定的张弛能力。
摘摘 要:要: 通过对目前应用广泛的软
关键词:关键词: 构件检索;向量空间模型;知网;语义相似度;信息抽取
随着
传统的软构件的检索方法[2]主要有三种:基于外部索引的检索、基于内部静态索引的检索和基于内部动态索引的检索。其
中以构件的刻面表示以及在此基础上的构件检索技术已得到软件复用界的重视和应用[3]。著名的REBOOT构件库[4]提出了可
重用软件构件基于刻面的分类检索方案。国内的青鸟构件库[5]采用以刻面分类为主、多种分类模式相结合的方法对构件进行
分类描述。
传统的基于关键字或刻面描述的软件构件的检索由于缺少特定领域语义信息,使得用户在查询所需要的构件时,有时很难
对构件的各个刻面作出准确的描述,因此在查准率和查全率上存在不足。准确地理解用户的查询请求是构件检索的一个重要问
题,本文针对与软构件如影随形的自然语言描述,提出一种基于软构件描述文本信息抽取的检索方法。该方法采用自然语言描
述软构件的实现,并由系统利用自然语言处理技术抽取软构件特征信息和需求的特征信息,然后利用特征匹配和《知网》词汇
语义相似度计算获得候选的结果。
1 软构件检索系统体系结构软构件检索系统体系结构
有效的构件检索机制能够降低构件查找和理解的成本,检索方式对构件描述和用户查询的依赖是本文研究的主体部分。本
文设计了基于文本描述的软构件检索系统体系结构,如图1所示。其各部分功能如下:
(1)软构件文本描述主要是将系统数据库中有关软构件的文本描述信息提取出来进行自然语言处理,并将处理返回的结果存
储起来;主要负责与用户交互,为用户提供查询接口,通过用户输入生成查询条件,并将满足条件的软构件信息返回给用户。
(2)自然语言处理模块主要是将数据库的软构件文本描述信息集合在一起,通过ICTCLAS分词技术获得带标注的分词结果,并
根据VSM中TFIDF的计算方法为每个软构件描述文本提取特征项并存储;
(3)检索模块分为两种方式:一种是将用户查询的特征与抽取出的软构件特征项通过《知网》词汇语义相似度计算来获取查
询结果,此种方法主要实现了软构件的语义检索,是本文研究的重点;另一种是用户查询的特征与软构件特征项之间的匹配检
索。
这种层次结构的体系模式将各模块的功能相互独立,有利于系统的维护与扩展,确保了系统的稳定性和可维护性。
2 软构件检索实现分析软构件检索实现分析
检索实现是本文研究的重点,尤其是实现软构件的语义检索。通过上面软构件检索系统的体系结构图可以看出,自然语言
处理部分是实现语义检索的基础,自然语言处理的准确度直接影响到检索结果的查全率和查准率。
下面简单介绍ICTCLAS汉语分词系统和VSM的研究现状,并详细介绍语义检索的实现过程。
2.1 ICTCLAS汉语分词简介汉语分词简介
分词系统[6]ICTCLAS(Institute of Computing Technology,Chinese Lexical Analysis System)是由中科院计算所的张华
平、刘群所开发的一套获得广泛好评的分词系统。它先通过层叠形马尔可夫模型CHMM(Hierarchical Hidden Markov
Model)进行分词,通过分层,既增加了分词的准确性,又保证了分词的效率。ICTCLAS分词速度单机500 KB/s,分词精度
98.45%,是世界上最好的汉语词法分析器,并且在国内973专家组组织的评测中获得了第一名。
2.2 向量空间模型向量空间模型
向量空间模型VSM(Vector Space Model)由Salton等人于上世纪60年代末提出,并成功应用于著名的SMART系统,是目前最
为成熟且应用最为广泛的文本表示模型之一[7]。它把对文本内容的处理简化为向量空间中的向量,用“词频与倒文档频
度”TFIDF(Term-Frequency Inverse-Document-Frequency)[8]进行特征项赋权值,来表征某个特征项对该文本内容的重要程
度。其中TFIDF将一个特征项在某个文档中的重要性和在整个文档数据全集中的重要性结合起来,成为一个统一的度量值。它
说明一个在单个文档中频度很高,而在整个数据全集中频度很低的词是更加重要的词。
本文在自然语言处理过程中对文本关键词的抽取正是提取VSM中TFIDF值较高的特征项,将通过此方法获得的所有特征项
资源评论
weixin_38699757
- 粉丝: 4
- 资源: 1026
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功