GATE中文自然语言处理系列之三
需积分: 40 186 浏览量
2015-01-05
22:21:46
上传
评论 1
收藏 163KB DOCX 举报
GATE 中文自然语言处理系列之三：中文分句（基于 JAPE）
一、中文分句概述
中文分句也是自然语言处理的基础之一，一般来说，中文中每个句子都表达了一个完整的
意思。GATE 的 ANNIE 提供了一个 ANNIE Sentence Split 资源，可以用于划分英文句子，
但对中文的划分效果很不好（整篇文章分成了一个句子）。
GATE 提供了两种句子划分的方法：基于 JAPE 规则和基于正则表达式，分别对应于类
gate.creole.splitter. SentenceSplitter 和 gate.creole.splitter.RegexSentenceSplitter。本文先来
讲述如何基于 JAPE 规则进行中文句子划分。
二、JAPE 简介
JAPE 的全称是 a Java Annotation Patterns Engine，Java 标注模式引擎，JAPE 提供了
基于正规表达式的标注有限状态转换。JAPE 是 CPSL(Common Pattern Specification
Language1)的一个版本。我们通过 JAPE 语言可以编写 GATE 能够识别的规则，通过这
些规则来进行较准确的命名实体识别。
总的来看，每条规则由左侧和右侧两部分组成。每条规则的左侧部分（LHS: Left Hand
Side）是一个包含正则表达式操作符（比如*, ?, +）的标注模式。每条规则的右侧部分
（RHS: Right Hand Side）包含了标注集操作描述。与左侧部分（LHS）匹配上的标注集
将会按照右侧的操作执行。下面让我们具体来看看 JAPE 规则的一些细节内容。
2.1 模式匹配
每条规则的 LHS 部分都可以包含一些操作符，这些操作符的含义与正则表达式相同，如下：
|：或者
*：零次或者多次发生
?：零次或者一次发生
+：一次或者多次发生
操作符可以对包含在圆括号中的任何模式进行操作。每个需要标注的完整模式都应当被圆
括号所包含，并且有标签标注。标签之前有冒号，比如下面的例子里，
标签就是：loc
(
{Lookup.majorType == location}
)
:loc
规则的 LHS 可以有多种模式以及相应的标签。比如：
(
{Lookup.majorType == jobtitle}
):jobtitle
(
{TempPerson}
):person
嵌套的模式只要正确标注也是允许的, 比如：
(
(
剩余25页未读，继续阅读
资源评论
