收稿日期： ２０１１唱０２唱０１； 修回日期： ２０１１唱０３唱０３ 基金项目： 广东省自然科学基金资助项目（９４５１０６４１０１００３２３３） ；广东省科技计划资助项
目（２０１０Ｂ０１０６０００３９） ；华南理工大学中央高校基本科研业务费专项资金资助项目（２００９ＺＭ０１２５，２００９ＺＭ０１８９，２００９ＺＭ０２５５）
作者简介： 刘兴林（１９７６唱），男，实验师，博士研究 生，ＣＣＦ 会员，主 要研 究方向为 智能 计算、数 据挖 掘、文本 知识 获取 等（ ｊｍｘｌｌｉｕ＠１６３．ｃｏｍ ）；
郑启伦（１９３８唱），男，教授，博导，博士，主要研究方向为人工智能理论、智能计算技术及其应用等；马千里（ １９８０唱） ，男，讲师，博士，主要研究方向为
智能计算、混沌时间序列、数据挖掘等．
中 文 合 成 词 识 别 及 分 词 修 正
倡
刘兴林
１，２
， 郑启伦
１
， 马千里
１
（１．华南理工大学 计算机科学与工程学院， 广州 ５１０６４０； ２．五邑大学 计算机学院， 广东 江门 ５２９０２０ ）
摘 要： 提出一种中文合成词识别及分词修正方法。 该方法先采用词性探测从文本中提取词串，进而由提取到
的词串生成词共现有向图，借鉴 Ｂｅｌｌｍａｎ唱Ｆｏｒｄ 算法思想，设计了运行在词共现有向图中识别合成词的算法，即搜
索多源点长度最长、权重值满足给定条件的路径，则该路径所对应的词串为合成词。 最后，采用核心属性渗透理
论对合成词标注词性，同时修正分词结果。 实验结果表明，合成词识别正确率达到了 ９１．６０％，且分词修正效果
良好。
关键词： 合成词； 词共现有向图； 词性标注； 分词修正； 自然语言处理
中图分类号： ＴＰ３０１；ＴＰ３９１ 文献标志码： Ａ 文章编号： １００１唱３６９５（２０１１）０８唱２９０５唱０４
ｄｏｉ：１０．３９６９ ／ｊ．ｉｓｓｎ．１００１唱３６９５．２０１１．０８．０２９
Ｃｈｉｎｅｓｅ ｃｏｍｐｏｕｎｄ唱ｗｏｒｄ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｉｆｉｃａｔｉｏｎ
ＬＩＵ Ｘｉｎｇ唱ｌｉｎ
１，２
， ＺＨＥＮＧ Ｑｉ唱ｌｕｎ
１
， ＭＡ Ｑｉａｎ唱ｌｉ
１
（１．Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ＆ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｓｏｕｔｈ Ｃｈｉｎａ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｇｕａｎｇｚｈｏｕ ５１０６４０， Ｃｈｉｎａ； ２．Ｓｃｈｏｏｌ ｏｆ Ｃｏｍｐｕｔｅｒ
Ｓｃｉｅｎｃｅ， Ｗｕｙｉ Ｕｎｉｖｅｒｓｉｔｙ， Ｊｉａｎｇｍｅｎ Ｇｕａｎｇｄｏｎｇ ５２９０２０， Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ： Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｄ ａ Ｃｈｉｎｅｓｅ ｃｏｍｐｏｕｎｄ唱ｗｏｒｄ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｉｆｉｃａｔｉｏｎ ｍｅｔｈｏｄ．Ｆｉｒｓｔｌｙ，
ｔｈｅ ｍｅｔｈｏｄ ｇｏｔ ｗｏｒｄ ｓｔｒｉｎｇｓ ｆｒｏｍ ａ ｔｅｘｔ ｔｈｒｏｕｇｈ ｂｙ ｐａｒｔ唱ｏｆ唱ｓｐｅｅｃｈ ｄｅｔｅｃｔｉｎｇ， ｔｈｅｎ ｇｅｎｅｒａｔｅｄ ｗｏｒｄ ｃｏ唱ｏｃｃｕｒｒｅｎｃｅ ｄｉｒｅｃｔｅｄ ｇｒａｐｈ，
ｂｏｒｒｏｗｅｄ ｔｈｅ ｉｄｅａ ｏｆ ｔｈｅ Ｂｅｌｌｍａｎ唱Ｆｏｒｄ ａｌｇｏｒｉｔｈｍ ｔｏ ｓｅａｒｃｈ ｔｈｅ ｌｏｎｇｅｓｔ ｐａｔｈｓ ｗｉｔｈ ｗｅｉｇｈｔ ｖａｌｕｅ ｓａｔｉｓｆｉｅｓ ｔｈｅ ｇｉｖｅｎ ｃｏｎｄｉｔｉｏｎ ｆｏｒ
ｍｕｌｔｉｐｌｅ ｓｔａｒｔｉｎｇ ｐｏｉｎｔｓ ｉｎ ｔｈｅ ｗｏｒｄ ｃｏ唱ｏｃｃｕｒｒｅｎｃｅ ｄｉｒｅｃｔｅｄ ｇｒａｐｈ， ｔｈｅ ｗｏｒｄ ｓｔｒｉｎｇｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｔｈｅ ｐａｔｈｓ ａｒｅ ｃｏｎｓｉｄｅｒｅｄ ａｓ
ｃｏｍｐｏｕｎｄ唱ｗｏｒｄｓ．Ｌａｓｔｌｙ， ｐａｒｔ唱ｏｆ唱ｓｐｅｅｃｈ ｔａｇｇｅｄ ｏｆ ｃｏｍｐｏｕｎｄ唱ｗｏｒｄｓ ｂｙ ｈｅａｄ唱ｆｅａｔｕｒｅ ｐｅｒｃｏｌａｔｉｏｎ， ａｎｄ ｍｏｄｉｆｉｅｄ ｗｏｒｄ ｓｅｇｍｅｎｔａ唱
ｔｉｏｎ ｒｅｓｕｌｔｓ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ａｃｈｉｅｖｅｓ ９１畅１６％ ｕｐｏｎ ｔｈｅ ｐｒｅｃｉｓｉｏｎ， ａｎｄ ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ
ｍｏｄｉｆｉｃａｔｉｏｎ ａｃｈｉｅｖｉｎｇ ｖｅｒｙ ｇｏｏｄ ｐｅｒｆｏｒｍａｎｃｅ．
Ｋｅｙ ｗｏｒｄｓ： ｃｏｍｐｏｕｎｄ唱ｗｏｒｄ； ｗｏｒｄ ｃｏ唱ｏｃｃｕｒｒｅｎｃｅ ｄｉｒｅｃｔｅｄ ｇｒａｐｈ； ｐａｒｔ唱ｏｆ唱ｓｐｅｅｃｈ ｔａｇｇｉｎｇ； ｗｏｒｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｍｏｄｉｆｉｃａｔｉｏｎ；
ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ
０ 引言
中文分词是自然语言处理的一个基本环节，分词的准确性
对后续的处理影响极大。 当前中文分词的一个主要难题是未
登录词识别。 未登录词包括命名实体、新词、简称、省略语、合
成词等。 分词系统难以正确处理这些未登录词，如 “ 地大物
博”被切分成“地 ／ｕ 大 ／ａ 物／ｎｇ 博 ／ａｇ”，“上海世博会” 被切分
成“上海 ／ｎｓ 世／ｎｇ 博会 ／ｎｒ”等。
杨梅
［１］
指出，文档中的词语可以分为两类：原子词和合成
词。 原子词（ａｔｏｍｉｃ ｗｏｒｄ）是语言中用于组合形成其他新词的
短词；合成词（ｃｏｍｐｏｕｎｄ唱ｗｏｒｄ）由多个原子词构成，遵循意义组
合原理，而且表达了一个完整的概念。 当前的分词系统难以识
别这些合成词，因此研究合成词的识别方法显得迫切且非常有
意义。 合成词识别在机器翻译、文本信息检索、信息抽取等领
域具有重要的应用价值。
１ 相关工作
于娟等人
［２］
提出并实现了一种结合词性分析与串频统计
的词语提取方法，该方法先对原子词进行词性分析，并建立保
留词性表、删除词性表以及停用词表，进而对识别到的词串进
行串频统计，当串频达到了给定的阈值时，则提取为词语，总体
准确率达到了 ８７畅５％。
陈建超等人
［３］
借鉴人类的认知心理模式，提出一种基于
词序列频率有向网的组合词抽取算法，以识别自由文本中的组
合词（ｃｏｍｂｉｎｅｄ唱ｗｏｒｄ）。 该算法首先建立描述文本中的词序列
出现频率的有向网，然后通过独特的矩阵运算，逐步把组合词
提取出来。 其优点是无须借助专业的语言知识，组合词提取准
确率达到了 ９０畅２％。
周蕾等人
［４］
提出一种基于统计和规则的未登录词识别方
法，该方法先对文本进行分词，同时生成临时词典，并利用规则
和频度信息给临时词典中的每个字串赋权值，利用贪心算法获
得每个碎片的最长路径，从而提取未登录词，实验准确率达到
了 ８１畅２５％。
杜楠
［５］
、陈建超
［６］
研究了组合词的识别及分词修正，认为
一个组合词由多个原子词或语素构成，并将组合词的词性标注
第 ２８ 卷第 ８ 期
２０１１ 年 ８ 月
计 算 机 应 用 研 究
Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ
Ｖｏｌ畅２８ Ｎｏ畅８
Ａｕｇ畅２０１１
资源评论
