第七章 贝叶斯分类器1

贝叶斯分类器是机器学习领域中的一种统计学习方法，属于生成式模型。它基于概率论中的贝叶斯定理，用于对给定样本进行分类。贝叶斯分类器假设已知所有相关概率，包括类先验概率P(c)和类条件概率P(x|c)。其中，类先验概率是指在没有任何其他信息时，样本属于某一类别的概率，而类条件概率是指在已知类别的情况下，样本具有特定属性的条件概率。 贝叶斯决策论是贝叶斯分类器的核心理论，它提供了一种最小化总体风险的判定准则。通过选择使得样本x的后验概率P(c|x)最大的类别，我们可以实现这一准则。后验概率是结合了先验概率和条件概率的概念，它是基于新信息更新先验概率得到的更准确的概率估计。在实际应用中，如果损失函数取0-1损失，那么选取后验概率最大的类别就能最小化总体风险。 贝叶斯分类器有两种主要的模型类型：判别式模型和生成式模型。判别式模型直接建模P(c|x)，如决策树、神经网络和SVM；而生成式模型则先建模联合分布P(x,c)，再推导出P(c|x)。贝叶斯分类器属于生成式模型，利用贝叶斯公式对后验概率进行变换，将其拆分为类先验概率和类条件概率。 在估计这些概率时，如果样本量足够大，类先验概率可以用训练样本中各类别的频率来近似。然而，类条件概率的估计较为复杂，尤其在属性众多时。通常采用极大似然估计方法，它寻找使训练数据出现概率最大的参数。这一过程包括写出似然函数、取对数、求导并解似然方程组。 当属性是连续值时，可能假设类条件概率服从高斯分布，通过最大似然估计可以求得相应的均值和方差作为参数。然而，朴素贝叶斯分类器对此做了简化，即“朴素”假设，认为所有属性之间相互独立，这极大地简化了联合概率的计算，但可能会导致模型的准确性受到影响。尽管如此，朴素贝叶斯分类器因其简单高效，在许多实际问题中表现出良好的性能，特别是在文本分类等领域。 总结来说，贝叶斯分类器是基于概率论的统计学习模型，通过贝叶斯决策论确定最优分类，并通过极大似然估计进行参数估计。虽然朴素贝叶斯分类器存在简化假设，但在实际应用中，尤其是在处理大量属性的数据时，仍然是一种有效的分类工具。