hw3_language_model:利用 PyTorch，本作业实现了一个基于word embedding和GRU的语言模型（...

作业三：循环神经网络 by Charles 前言 利用 PyTorch，本作业实现了一个基于word embedding和GRU的语言模型（Language Model，以下简称LM）。其包括一个encoder层、一个GRU层和一个decoder层，embedding维度与GRU的hidden state维度均为1500，采用了自己搭建的带有Layer Normalization（LN）的GRU模块，运用了dropout、学习初始状态、锁定encoder与decoder参数、梯度裁剪等技巧来提升模型性能，最终在测试集上模型的perplexity (PP)值为89.52，所得模型大小约为108M。本报告将从模型搭建、模型训练、测试方法等方面对本作业的工作进行详细说明。 作业所有代码以及训练好的模型存放于 hw3_language_model_handed 文件夹中。参考借鉴 Pytorch