NLP：使用循环神经网络实现人名分类器.zip

## 循环神经网络 ### 内容来源 笔记和代码来源于B站跟李沐学AI。 ### 潜变量自回归模型 $p(x_t|h_t,x_{t-1})$ $p(h_t|{h_t-1},x_{t-1})$ ### 循环神经网络 更新隐藏状态：$h_t=\phi(W_{hh}\mathbf{h}_{t-1}+W_{hx}\mathbf{x}_{t-1}+\mathbf{b}_h)$​ 输出：$o_t=\phi(W_{oh}\mathbf{h}_t+\mathbf b_o)$​​​ ### 困惑度 衡量一个语言模型的好坏可以用平均交叉熵：$\pi=\frac{1}{n}\sum_{i=1}^n-\log p(x_t|x_{t-1},...)$​，其中$x_t$​​​是真实词。 历史原因NLP使用困惑度$\exp(\pi)$​来衡量。1表示完美，无穷大最差。 ### 梯度裁剪 迭代中计算$T$个时间步上的梯度，反向传播时产生长度为$O(T)$的矩阵乘法链，导致数值不稳定。 梯度裁剪能有效预防梯度爆炸，如果梯度长度超过$\theta$，则拖影回长度$\theta$​。 $\mathbf{g}\leftarrow \min(1,\frac{\theta}{\mathbf{||g||}})\mathbf{g}$ ### PyTorch中的RNN ```python from torch import nn import torch input_size = 200 hidden = 100 seq = 10 batch = 8 layer = 1 rnn = nn.RNN(input_size, hidden, num_layers=layer, batch_first=False) # batch_first=True，则x需要为(batch, seq, input_size) x = torch.randn((seq, batch, input_size)) h_0 = torch.randn((layer, batch, hidden)) out, h = rnn.forward(x) # out:(seq, batch, hidden), h:(layer, batch, hidden) cell = nn.RNNCell(input_size, hidden) for xt in x: h_0 = cell(xt, h_0) ```