吴恩达NLP课程21

吴恩达的NLP课程21主要探讨了自然语言处理中的关键概念，特别是语言建模和词嵌入。以下是对这些主题的详细说明： 1. **N-gram模型**： - **简介**：N-gram模型是统计语言学中的一种简单但实用的方法，它用于预测一个序列中下一个元素（通常是单词）的概率。这种模型基于“n”个连续元素的历史来预测下一个元素。 - **什么是N-Gram？**：N-Gram是指在文本中连续出现的n个词，例如，二元语法（bigram）考虑的是每对相邻的词，三元语法（trigram）则考虑每三个连续的词。模型通过统计这些短语的频率来预测序列中的下一个词。 - **文本序列概率的计算**：N-Gram模型计算一个特定序列的概率，这通常涉及统计所有可能的n-1元组和其跟随词的出现次数，然后除以总的n-1元组数量。 - **句子的开头和结束部分**：在处理句子时，N-Gram模型需要特殊处理开始和结束，因为它们没有前一个单词。通常，这可以通过添加特殊标记如开始符号（BOS）和结束符号（EOS）来解决。 - **N-gram语言模型**：这种模型用于生成新的、看起来自然的文本，因为它能理解单词间的上下文关系。然而，它有局限性，比如无法捕捉长距离的依赖关系。 - **语言模型评估**：评估N-gram模型的性能通常通过困惑度（Perplexity）进行，这是一个反向概率的度量，数值越低表示模型预测的越好。 - **词汇量匮乏**：如果词汇量大或特定词汇未在训练集中出现，会导致模型性能下降。这通常通过增加训练数据或使用平滑技术来解决。 - **平滑处理**：平滑技术如Laplace平滑或Kneser-Ney平滑用于解决零频率问题，确保即使在训练集中未见过的n-gram也能有非零的概率预测。 2. **词嵌入**： - **大纲介绍**：词嵌入是一种将单词表示为固定维度实数向量的技术，这些向量捕捉了词汇的语义和语法信息。 - **独热向量**：最简单的词表示方法，每个单词是一个长向量，只有一个元素为1，其余为0，但这种方法无法捕获词的语义相似性。 - **词嵌入**：通过学习算法如Word2Vec、GloVe等，可以生成词嵌入，其中每个词对应一个低维向量，使得语义相似的词在向量空间中靠近。这种表示允许我们进行有意义的数学操作，如计算两个词向量的余弦相似度。 NLP领域的这两个概念——N-gram模型和词嵌入，都是构建高效语言理解和生成系统的基础。吴恩达的课程深入浅出地介绍了这些概念，对于初学者和专业人士来说都是极好的资源，有助于理解自然语言处理的核心机制。