软件开发：研究非结构化文本分析软件比较.pdf资源-CSDN文库

版权申诉

182 浏览量 2023-09-08 22:44:03 上传评论收藏 183KB PDF 举报

资源推荐

资源详情

资源评论

研究非结构化文本分析软件比较

一、引言

非结构化文本是指以文本(字符、数字、标点、各种可打印的符号等)为数据

形式的非结构化数据。非结构化文本数据的典型代表是图书馆数据库中的文档，

这些文档可能包含结构字段，如标题、作者、出版日期、长度、分类等等，也可

能包含大量非结构化文本成分，如摘要和内容。当前互联网上也存在大量的非结

构化电子文本，如新闻、博客、电子邮件、政府文件、聊天记录等。人们应该如

何正确理解这些数据?目前普遍的方式是通过人工注释语义信息实现对非结构化

文本进行分析。但是数据量的过于巨大使得这项任务不可能完全凭借人工方式来

完成，迫切的需要借助于计算机的帮助来完成对大量非结构化文本进行信息抽取

和分析。在此情况下，非结构化文本分析软件就应运而生了。非结构化文本，主

要是指类似于字符、标点、各种可打印的符号等数据。比如，一篇文档既可能包

含结构字段，如标题、作者、出版日期、长度、分类等，也可能包含大量非结构

化文本成分，如摘要和正文内容。而所谓非结构化文本分析软件，是指能够对非

结构化文本进行自动化分析，进而将文本中词频、词性、词间关系等特征以结构

化数据或者可视化方式呈现给用户的计算机软件。

早在 20 世纪 50 年代末，H.P.Luhn 就已经在非结构化文本分析领域进行了开

创性的研究，提出了将词频统计思想用于文本的自动分类。之后，这一领域逐渐

得到学者们的重视，出现了许多新的研究成果。如 Maron M E 等人围绕如何对非

结构化文本进行自动分类开展了研究与探讨;Ghanem M 等人在经过深入研究后，

提出了适用于非结构化文本的分析模型。除此之外，我国也有许多学者对这一问

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余3页未读，立即下载

内容反馈

版权申诉

hhappy0123456789

粉丝: 61
资源: 5万+

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip