下载 >  开发技术 >  C > 毕设论文 基于词典的中文分词器

毕设论文 基于词典的中文分词器

2015-02-14 上传大小:944KB
2010年毕业写的基于词典的分词器方案论文,不舍得丢,传上来给大家参考。
自己合成了词库,使用了隐马尔科夫模型,分词质量还行。

本文在对已有分词技术研究的基础上,做出了多处改进,完成了一个高效、准确的中文分词器,能进行文本和文件的分词操作。分词词典是分词器的基础,本文选择了查询速度极快的双数组Trie为基础,改进为“三数组Trie”,从而能够存储分词所需的词频词性信息;双向最大匹配切分算法具有快速、简单和较强的歧义检测能力等特点,通过动态的改变最大匹配长度,有效减少了匹配的平均次数并且对长词实现了无遗漏切分;歧义消解一直是影响分词精度的因素之一,本文通过改进MMSEG算法,采用了并行规则积分过滤的方法,达到了较好的效果;命名实体作为一类占比重最大的未登录词,对分词的精度影响超过了歧义,本文引入了隐马尔可夫模型对中文人名、中文地名和中文机构名进行识别,达到了一定的效果。
为了构造分词词典,本文采用多个分词词库合并生成了本文的分词词库,包含了每个词的词频、词性。最终实现了一个词典管理器,可以对词典进行构造、批量插入等操作,可以对词典中的单个词进行查找、编辑、删除、插入等操作。
综合评分:5
开通VIP 立即下载

评论共有1条

baibaibao 2015-05-22 14:44:32
有源码就更好了
 
30万 中文分词词库 立即下载
积分/C币:13
最新中文分词词库整理 立即下载
积分/C币:5
中文分词词库 立即下载
积分/C币:8
基于Java的用户管理系统 立即下载
积分/C币:3
毕设源代码--编程词典用户管理系统 立即下载
积分/C币:3
基于Unity3D多人斗地主毕设论文 立即下载
积分/C币:3
基于web的中国象棋对战平台博弈系统毕设论文 立即下载
积分/C币:3
JavaWeb文献管理系统代码+论文 立即下载
积分/C币:3
jsp个人博客系统毕业设计论文 立即下载
积分/C币:3
mysql+java 网上书城完整项目和毕设论文 立即下载
积分/C币:3

VIP会员动态

0 1 2
关闭
img

spring mvc+mybatis+mysql+maven+bootstrap 整合实现增删查改简单实例.zip

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
点击完成任务获取下载码
输入下载码
为了良好体验,不建议使用迅雷下载
img

毕设论文 基于词典的中文分词器

会员到期时间: 剩余下载个数: 剩余C币: 剩余积分:0
为了良好体验,不建议使用迅雷下载
VIP下载
您今日下载次数已达上限(为了良好下载体验及使用,每位用户24小时之内最多可下载20个资源)

积分不足!

资源所需积分/C币 当前拥有积分
您可以选择
开通VIP
4000万
程序员的必选
600万
绿色安全资源
现在开通
立省522元
或者
购买C币兑换积分 C币抽奖
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
为了良好体验,不建议使用迅雷下载
确认下载
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 0 0
为了良好体验,不建议使用迅雷下载
开通VIP
img

资源所需积分/C币 当前拥有积分 当前拥有C币
5 4 45
您的积分不足,将扣除 10 C币
为了良好体验,不建议使用迅雷下载
确认下载
下载
无法举报自己的资源

兑换成功

你当前的下载分为234开始下载资源
你还不是VIP会员
开通VIP会员权限,免积分下载
立即开通

你下载资源过于频繁,请输入验证码

您因违反CSDN下载频道规则而被锁定帐户,如有疑问,请联络:webmaster@csdn.net!

举报

若举报审核通过,可返还被扣除的积分

  • 举报人:
  • 被举报人:
  • 举报的资源分:
  • *类型:
  • *详细原因: