14-1+预训练模型真的理解语言吗？.pdf

在自然语言处理领域，预训练模型已经取得了显著的进步，但它们是否真正理解语言呢？这个问题引发了深入的讨论。本文将探讨预训练模型的理解能力、学习到的内容、未掌握的方面，以及如何通过注入知识和后训练来提升模型性能。 我们需要定义语言的意义和理解。在计算语言学中，一个基本的挑战是如何确定单词、短语或句子的含义，以及如何衡量它们之间的相似度。黄民烈引用了Bender和Koller的观点，他们认为“意义即使用”，即一个词汇的意义可以通过它在文本语料库中的分布来理解。这一理论源自Ludwig Wittgenstein的哲学观念，他指出语言的意义在于其在实际语境中的使用。 分布假设是理解词义的核心，该假设由Harris在1954年提出：如果两个词在相似的上下文中出现，那么它们可能是相似的。这通常通过词共现统计来表示，形成词-上下文矩阵。例如，“bank”一词在不同情境下有不同的含义，如金融机构、河岸等，其含义取决于上下文。 然而，意义是依赖于上下文的。Firth在1935年和1957年的观点强调了语境对理解词汇意义的重要性，他认为“通过它所伴随的词汇来认识一个词”。这意味着预训练模型需要捕捉到这些上下文线索，以正确理解词汇的多义性。 预训练模型，如BERT、GPT系列和T5，通过自监督学习在大规模无标注文本上学习语言的表示。它们在诸如语言建模、问答和文本分类等任务上表现出色，表明它们确实捕获了一些语言的结构和模式。然而，尽管它们在特定任务上表现强大，但这些模型是否真正理解语言的深层含义仍存在争议。 预训练模型可能学习到了词语的共现模式和语法结构，但它们往往缺乏对世界的实体、事件和概念的深入理解，这是真正的语言理解所必需的。例如，它们可能无法理解隐喻、讽刺和抽象概念，这些都是人类沟通中常见的复杂语用现象。 为了弥补这一不足，研究者尝试将知识注入预训练模型，例如通过知识图谱或者结构化的世界知识来增强模型的表示。此外，利用有标签的数据进行后训练可以进一步优化模型，使其在特定任务上表现更好，同时也能更好地处理与知识相关的问题。 预训练模型已经在模拟语言理解和生成方面取得了巨大进步，但它们的理解能力仍处于表面层次。要让模型更接近人类的理解水平，需要结合上下文、知识表示和对世界的理解。通过改进模型架构、引入外部知识和强化上下文理解，我们有望使预训练模型更接近真正理解语言的目标。