14.1 序列概率模型 2019 年 4 月 6 日 335
其中
ˆ
x
1:(t−1)
= ˆx
1
, ··· , ˆx
t−1
为前面 t − 1 步中生成的前缀序列。
自回归的方式可以生成一个无限长度的序列。为了避免这种情况，通常会
设置一个特殊的符号“<eos>”来表示序列的结束。在训练时，每个序列样本
的结尾都加上符号“<eos>”。在测试时，一旦生成了符号“<eos>”，就中止
生成过程。
束搜索 当使用自回归模型生成一个最可能的序列时，生成过程是一种从左到右
的贪婪式搜索过程。在每一步都生成最可能的词，
ˆx
t
= arg max
x∈V
p
θ
(x|
ˆ
x
1:(t−1)
), (14.7)
其中
ˆ
x
1:(t−1)
= ˆx
1
, ··· , ˆx
t−1
为前面 t − 1 步中生成的前缀序列。
这种贪婪式的搜索方式是次优的，生成的序列
ˆ
x
1:T
并不保证是全局最优的。
T
t=1
max
x
t
∈V
p
θ
(x
t
|
ˆ
x
1:(t−1)
) ≤ max
x
1:T
∈V
T
T
t=1
p
θ
(x|x
1:(t−1)
). (14.8)
一种常用的减少搜索错误的启发式方法是束搜索（Beam Search）。在每一
步的生成中，生成 K 个最可能的前缀序列，其中 K 为束的大小（Beam Size），
是一个超参数。
束搜索的过程如下：在第 1 步时，生成 K 个最可能的词。在后面每一步中，
从 K|V|个候选输出中选择 K 个最可能的序列。图14.1给出了一个束搜索过程的
示例，其中词表 V = {A, B, C}，束大小为 2。
参见习题14-5。
t=1 t=2
t=3
ϕ
C
C
B
C
B
AA
B
A
C
B
A
C
B
A
AAB
CBA
图 14.1 束搜索过程示例
束搜索可以通过调整束大小K 来平衡计算复杂度和搜索质量之间的优先级。
邱锡鹏：《神经网络与深度学习》 https://nndl.github.io/
评论0