朴素贝叶斯是在独立性假设的前提下实现的，即在给定目标值时，假设特征之间是
相互独立的。
朴素贝叶斯的公式表示为：
arg max ( ) ( | )
j
NB j i j
i
v V
v p v p a v
因为这部分需要独立编写代码实现，所以我详细了解并掌握了朴素贝叶斯的流程，
并总结如下。
对已知的特征矩阵和标签矩阵，我们定义：
[ 1, 2, 3,....., ]x f f f fn
为一个样本特征向量，其中
是每个特征的特征值。
[ 1, 2, 3,......, ]y y y y yn
为每个样本的真实所属类别。
[ 1, 2, 3,......, ]X x x x xn
为样本集，其中每个样本
是
的构成形式。
假设这些样本总共分为了 3 类，分别为
。
第一步：
通过样本集的类别分布，对每个类别计算先验概率。也就是需要计算出这些样本分
属 3 个类别各自的比例，比如：
class1
( 1)p class
所属 的样本数目
所有样本的总数
这样，分别计算出
( 1), ( 2), ( 3)p class p class p class
。
第二步：
计算每个类别下每个特征属性值的出现概率。比如，当为类别 1 时，特征 1 的值为
时的频率
为：
1
1
class1 1 1
( 1 | 1)
class1
f
p f class
在属于 的样本中特征 的值为 的样本数目
所属 的样本数目
第三步：
计算每个样本所属每个类别的概率。比如对于第一个样本，根据它每个特征值的情
况，依次从第二步的结果中提取对应值并相乘。得到它分别属于这 3 个类别的概率，即
( 1| 1) ( 1) * ( 1 | 1) * ( 2 | 1) *...* ( | 1)
a b q
p x class p class p f class p f class p fn class
( 1| 2) ( 1) * ( 1 | 2) * ( 2 | 2) *...* ( | 2)
a b q
p x class p class p f class p f class p fn class
( 1| 3) ( 1) * ( 1 | 3) * ( 2 | 3) *...* ( | 3)
a b q
p x class p class p f class p f class p fn class
第四步：
比较样本预测属于这三个类别的概率值，找出最大概率对应的分类作为这个样本最
终的预测分类结果。
二、SVM
SVM 的基本模型为特征空间上的间隔最大的线性或非线性分类器，即支持向量机
的学习策略便是间隔最大化，最终可转化为一个凸二次规划问题的求解，可以求得全局
最优解。
而且，SVM 是基于结构风险最小化来做的，这样就避免了过学习问题，泛化能力
强，因此从理论上要强于传统的经验风险最小化的统计学习算法。从目前来看，SVM
