关于CRF以及CRF++调研的一些tips
需积分: 10 141 浏览量
2017-06-28
10:00:39
上传
评论
收藏 141KB DOCX 举报
CRF（CRF++）调研实验报告
调研目的：
对 CRF 模型的解释以及其在命名实体识别中的具体实现进行调研
调研步骤：
1、表达式的解析
CRF 最早于 2001 年提出，其表达式如下：
其中：
表达式中的各符号表达含义如下：
（1） Z(x)为一个规范化因子，以使得给定输入的所有可能的状态序列的概率只和为 1。
（2） 是转移特征函数，如果满足条件则取为 1，否则为 0
（3） 状态特征函数，满足条件取 1，否则取 0。
（4） ， 是 ， 对应的权值a
2、CRF 在命名实体识别上的应用
（1）表达式的具体含义：y 和 x 都是序列，通过考虑长远的上下文信息，考虑整个句子的
局部特征的线性加权组合，通过 viterbi 算法来找到一个概率最高的序列 y = (y1, y2, …, yn)，
使得 p(y1, y2, …, yn| x, w)最高。
（ 2 ） 2 个 特 征 函 数 的 含 义 ： 对 于 转 移 特 征 函 数 t
k
， 其 形 式 为
（ label1,label2,x,i ） ,label1,label2 {B-PER,M-PER,E-PER,B-LOC,M-LOC,E-LOC,B-ORG,M-ORG,E-∈
ORG,O},label1 为前一个标记，label2 为当前的标记，x 为当前位置的字,i 为第 i 时刻。例如：
赵明今天上午去了北京，这句话的标记结果为：赵 /B-PER 明/E-PER 今/O 天/O 上/O 午/O
去/O 了/O 北/B-LOC 京/E-LOC。如果当前位置取到 i=3 的时刻，则有 i=3 时刻的观察值的真
实特征 b(x,i)为：
b(x
-2
=”赵”，i=3)、b(x
-1
=”明”，i=3)、b(x
0
=”今”，i=3)、b(x
1
=”天”，i=3)、b(x
2
=”上”，i=3)
结合当前位置和之前位置的标注结果即可获得相应的特征函数，如：
f(y
i-1
=B-PER,y
i
=E-PER,x
-1
=”明”，i=3)就是一个特征函数，表示成二值函数形式为：
f
j
=
{
1if 前 一个观察值为“明”， 前一标注为“ B−PER ”, 当前 标注为“ E−PER”
0 其他
由于语言的多样性，单一模式的特征函数无法覆盖所有的语言内在规律，此时可以通
过一些模版来筛选特征。特征模版的作用就是为特征函数的生成提供一个统一模式，通过
特征模版的使用可以方便的获得我们所需要的所有特征函数，特征函数模版的制定直接关
系到特征函数的生成。特征模版的选取需要进行多次尝试比较，从中挑选最为有效的模版。
资源评论
学习小哥
- 粉丝: 5
- 资源: 1
