HHM实战：使用HMM进行中文分词1
需积分: 0 180 浏览量
2022-08-03
17:20:14
上传
评论
收藏 380KB PDF 举报
使用HMM进行中文分词
序列标签
首先我们先给序列数据打上标签。BMES，B代表词开始，M代表词的中间，E代表词的结尾。S代
表单字词。比如下面：
致B以E诚B挚E的S问B候E和S良B好E的S祝B愿E！S
在本次实战中，我们使用98人民日报标注语料进行训练。
构建HMM
通过以上的序列标注，那么我们可以得到这个HMM模型：
状态空间为{B,E,M,S}
每个字就是模型中的观测，所以观测空间为语料中的所有中文字
两个空间完了，还需要三个矩阵。
状态转移概率矩阵：这个需要统计模型中所有状态的转换进而计算概率即可。
输出观测概率矩阵：这个需要统计四种状态下出来各个观测（也就是各个字）的概率。
初始状态概率：模型在初始时，各状态出现的概率。
至此我们的一个HMM模型就构建完成了。
实际分词
我们通过HMM的预测问题，输入进去一串中文字符串，然后得到一串对应的标注的序列，最终根据
标注的序列，进行分词。BME是一个词，S是一个单字词，这样就实现了一个简单版本的中文分
词。
代码实现
1.一些参数的设置
# 序列化文件夹
资源评论
城北伯庸
- 粉丝: 27
- 资源: 315
最新资源
- fdgsfdgfdsgsf
- 基于CodeMirror5实现的mybatis+sql提示扩展功能，主要是用于在线设计开发场景中的动态sql部分.zip
- 计算机毕业设计-aSP.NET某中学学生成绩管理系统的设计(源代码+)-毕设源码实例.zip
- springboot集成mybatis动态sql.zip
- mybatis中的动态sql, 涉及 where trim set if foreach等
- 简单- 快递运输（Java & JS & Python & C）.html
- mybatis框架 更改ems系统，使用动态sql等.zip
- 易语言工具条下拉菜单实现
- Mybatis动态SQL高级映射.zip
- 源码esp8266开发板机智云机智云智能灯
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
