Deep contextualized word representations

我们引入了一种新型的深层语境化词语表示，它模拟了（1）词汇使用的复杂特征（例如，语法和语义），以及（2）这些用法如何在语言语境中变化（即模型多义词） ）。我们的单词向量是深度双向语言模型（biLM）内部状态的学习函数，它是在大型文本语料库中预先训练的。我们表明，这些表示可以很容易地添加到现有模型中，并显着改善六个具有挑战性的NLP问题的技术发展水平，包括问答，文本蕴涵和情绪分析。我们还提供了一个分析，表明暴露预训练网络的深层内部是至关重要的，允许下游模型混合不同类型的半监督信号。