逻辑回归与朴素⻉叶斯的战争
原创
⼣⼩瑶
2017-04-13⼣⼩瑶的卖萌屋
0
⼀起⾛过的
⾸先，⼩⼣带领⼤家回顾⼀下⽂章《逻辑回归》、《Sigmoid与Softmax》、《朴素⻉叶斯》中的⼏点内容，这⼏点内
容也是本⽂的前置知识：
1. 逻辑回归模型的表达式(假设函数)： ，其中 。
2. 逻辑回归模型 本质上是⼆类分类问题中其中⼀个类别的后验概率 。
3. ⽤于⼆类分类的sigmoid函数只是⽤于多类分类的softmax函数的⼀个特例。
4. 朴素⻉叶斯模型本质上计算并⽐较的是某样本x与某类别y的联合概率 。
如果对上述前置知识有疑问，⼩⼣强烈建议再参考那三篇⽂章理解⼀下哦。
好了，上⾯的知识在本⽂中已默认为常识，不再额外解释啦~
1
战争导⽕索
在朴素⻉叶斯模型中，P(x,y)是基于⻉叶斯定理和独⽴性假设来近似得到的，⽽不是像回归模型计算P(y|x)那样
直接计算出来。那么有没有⼀种表⽰来直接得到P(x,y)的表达式呢？
还记得我们在《sigmoid与softmax》中定义的，⼩⼣将 定义为向量w1与w2的“亲密度”，⽽某个样本x属于
某个类别的后验概率P(y|x)就可以解读为“类别y与样本x的亲密度占所有类别与样本x的亲密度之和的⽐例”，⽤
数学语⾔(softmax)描述就是这样⼦的（K为类别数，wj是⼩⼣解读过的描述类别j的向量，同时也是⼤众理解的
模型参数）：
仔细观察⼀下⼩⼣⽤亲密度解释后验概率的这句话，有没有发现这句话⾮常⽣动的描绘了P(y|x)呢？(不是⾃夸
啦\(//∇//)\，下⽂要⽤到...)
---> 固定住x，因此计算亲密度时忽略其他样本的存在（准确讲，忽略P(x)的分布情况），只关⼼当前的样本x。
那如果我们要描绘P(x,y)呢？描绘x与y的联合概率分布的话，肯定既要描绘出全部的y的情况，⼜要描绘出全部的
x的情况，机智的你或许已经想到了，那我们不固定x了，⽽是考虑全部的x不就⾏啦。所以，某样本x与某类别y的
