哥大 CS4705 自然语言处理讲义.pdf

### 哥大 CS4705 自然语言处理讲义——语言建模知识点解析 #### 1. 语言建模概述 语言建模是自然语言处理（NLP）领域的一项基础技术，其目的是通过一组示例句子来构建能够估计语言中句子概率分布的模型。这些模型在语音识别、机器翻译等多个NLP应用中发挥着重要作用。 **语言模型的基本概念**： - **词汇表（Vocabulary, V）**：语言模型中所有单词的集合。 - **句子**：由词汇表中单词组成的序列。 - **语言模型定义**：由词汇表`V`和一个函数`p(x1, x2, …, xn)`组成，其中`p`表示给定句子的概率分布。该分布需满足非负性和归一性两个条件。 #### 2. 构建语言模型的方法 ##### 2.1 简单但不实用的方法 一种直观但效果不佳的方法是基于训练语料库中的句子频率来定义概率分布。具体而言： - **计数函数（c(x1, …, xn)）**：在训练语料库中出现的句子`x1, …, xn`的次数。 - **总句子数（N）**：训练语料库中的句子总数。 - **简单概率分布**：`p(x1, …, xn) = c(x1, …, xn) / N`。 这种方法的问题在于它会给训练语料库中未出现的任何句子分配零概率，这在实际应用中是非常不利的，因为它无法推广到新数据。 ##### 2.2 推广能力的重要性 为了使语言模型具备更好的泛化能力，需要引入能够处理训练数据中未出现的句子的方法。这通常涉及到对模型进行正则化或者引入平滑技术，以确保即使是没有出现在训练集中的句子也能被赋予一定的概率。 #### 3. 马尔可夫模型 马尔可夫模型是一种概率模型，用于描述一系列随机变量之间的关系，其中当前状态仅依赖于前一个状态。在语言建模中，马尔可夫模型可以用来简化计算并减少需要估计的参数数量。 ##### 3.1 固定长度序列的马尔可夫模型 考虑一个固定长度`n`的随机变量序列`X1, X2, …, Xn`，其中每个随机变量可以从词汇表`V`中取值。目标是对序列`x1, x2, …, xn`的概率进行建模，即`P(X1 = x1, X2 = x2, …, Xn = xn)`。 由于所有可能序列的数量随着`|V|^n`呈指数增长，直接计算所有可能的概率分布是不可行的。因此，需要利用马尔可夫性质来简化问题。 **马尔可夫性质**：在给定当前状态的情况下，未来的状态仅依赖于当前状态，而不依赖于过去的任何状态。 基于马尔可夫性质，可以将联合概率分解为一系列条件概率的乘积，从而大大减少了需要估计的参数数量。 #### 4. 高阶马尔可夫模型 高阶马尔可夫模型进一步扩展了这一思想，允许当前状态不仅依赖于前一个状态，还可以依赖于更早的状态。例如，在三元语言模型中，当前单词的概率取决于前面两个单词。这种模型通常能够更好地捕捉语言结构的复杂性，但也需要更大的训练数据量和支持更多的参数估计。 #### 5. 参数估计技术 参数估计是构建语言模型的关键步骤之一，它涉及到确定模型中各个参数的具体数值。常用的参数估计技术包括最大似然估计（MLE）和贝叶斯估计等。这些技术的目标是根据训练数据来调整模型参数，使得模型对未知数据的预测更加准确。 语言建模是NLP领域的重要组成部分，它不仅为语音识别和机器翻译等应用提供了强大的支持，同时也为后续章节中介绍的其他NLP技术如隐藏马尔可夫模型和自然语言解析模型奠定了基础。通过对这些基本概念和技术的理解，我们可以更好地掌握和应用自然语言处理的相关知识。