nlp-tutorial代码注释1-1，语言模型、n-gram简介

本文知识点介绍来自斯坦福大学CS224N课程lecture6语言模型部分 语言模型 语言模型可以预测一个序列接下来会出现什么词。即给定一个单词序列，语言模型计算出下一个单词是词汇表中各个词的概率分布。 还有一种理解是语言模型可以计算一个句子出现的概率，计算公式如下（条件概率）： n-gram语言模型： 含义：通过前（n-1）个词去预测某个单词。 n-gram有一个基本的假设：假设某个词的出现仅取决于它前面的n-1个单词。根据条件概率公式，某个词的出现概率计算公式为： 计算上图n-gram和(n-1)-gram的比例是通过计算他们在大型语料库中出现的次数的比例： 举个例子：As the p