雨石 @zyx_1991 http://blog.csdn.net/stdcoutzyx
斯坦福 ML 公开课笔记 6
本篇笔记针对斯坦福 ML 公开课的第 6 个视频，主要内容包括朴素贝叶斯的
多项式事件模型、神经网络、支持向量机。
朴素贝叶斯多项式事件模型
在上篇笔记中，那个最基本的 NB 模型也被成为多元伯努利事件模型
（Multivariate Bernoulli Event Model，以下简称 NB-MBEM）。该模型有多种扩展，
一种是在上一篇笔记中已经提到的每个分量的多值化，即将 p(x
i
|y)由伯努利分布
扩展到多项式分布；还有一种在上一篇笔记中也已经提到，即将连续变量值离散
化。本文将要介绍一种与多元伯努利事件模型有较大区别的 NB 模型，即多项式
事件模型（Multinomial Event Model，以下简称 NB-MEM）。
首先，NB-MEM 改变了特征向量的表示方法。在 NB-MBEM 中，特征向量
的每个分量代表词典中该 index 上的词语是否在文本中出现过，其取值范围为
{0,1}，特征向量的长度为词典的大小。而在 NB-MEM 中，特征向量中的每个分
量的值是文本中处于该分量的位置的词语在词典中的索引，其取值范围是
{1,2,…,|V|},|V|是词典的大小，特征向量的长度为相应样例文本中词语的数目。
举例来说，在 NB-MBEM 中，一篇文档的特征向量可能如下所示：
(1)
其在 NB-MEM 中的向量表示则如下所示：
(2)
在 NB-MEM 中，假设文本的生成过程如下：
确定文本的类别，比如是否为垃圾文本、是财经类还是教育类等；
遍历文本的各个位置，以相同的多项式分布生成各个词语，生成词语时
相互独立。
