我们真的明白生成模型和判别模型了吗？
132 浏览量
2021-01-07
13:22:33
上传
评论
收藏 401KB PDF 举报
我们真的明白生成模型和判别模型了吗？我们真的明白生成模型和判别模型了吗？
1. 写在前面写在前面
今天补了一下机器学习的数学知识，突然又遇到了判别模型和生成模型这两个词语，之前学习统计学习方法的时候也遇到过，
当时就模模糊糊的，如今再遇到，发现我还是没明白， 但这次哪有轻易再放过去之理？所以查了很多资料，试图结合自己理
解的，把这个知识点整理整理，毕竟这个知识点也是面试官非常喜欢问的一个问题。
所以，下面我尽量把语言说的白话一些。
2. 判定模型判定模型 VS 生成模型生成模型
从本质上讲，生成模型和判别模型是解决分类问题的两类基本思路。 首先，你得了解，分类问题，就是我给定一个数据x，去
判断它对应的标签y。
我的目标就是P(Y|X)。 下面我直接开门见山，先说一下这两种模型针对这个目标是怎么去做的:
对于生成模型来说，我的目标虽然是P(Y|X)， 但是对于训练集，我需要去学习我需要去学习X和和Y的联合概率分布的联合概率分布P(X,Y)， 也就是对
（X,Y）的联合概率进行建模，这样我面对一个新的X的时候，我就直接可以看看这样的特征到底哪一个Y才可能具有，我选择
最有可能具有这样X的那个Y。即P(X,Y1), P(X,Y2)…P(X,Yn)里面最大的那个概率。 这里面我学习的是一种生成关系：哪一个哪一个
Y更有可能有某种特征更有可能有某种特征X，我就选哪一个，我就选哪一个
而对于判别模型来说，我的目标是是P(Y|X)，对于训练集，我直接就去学习我直接就去学习P(Y|X)，即我学习的是这些不同类样本之间的那种
区别，最后会有一条边界把不同类样本分开，这样我面对一个新的X的时候，我根据之前学习到的边界就可以直接预测出Y。
在这里面，我学习的是一种映射关系：你给我的这种你给我的这种X，直接就是某种类别，直接就是某种类别Y
好吧，如果不明白，先看下面的图，我再解释：
左边是判别模型，右边是生成模型。我可以再描述一下我说的话：
生成式模型是求得P(X,Y)，对于未见示例X，你要求出X与不同标记Y之间的联合概率分布，然后大的获胜，如上图右边所示，
并没有什么边界存在，对于未见示例（红三角），求两个联合概率分布（有两个类），比较一下，取那个大的。（所以传统
的、耳熟能详的机器学习算法如线性回归模型、支持向量机SVM等都是判别式模型，这些模型的特点都是输入属性X可以直接
得到Y（对于二分类任务来说，实际得到一个score，当score大于threshold时则为正类，否则为反类））
判别式模型来说求得P(Y|X)，对未见示例X，根据P(Y|X)可以求得标记Y，即可以直接判别出来，如上图的左边所示，实际是
就是直接得到了判别边界。（机器学习中朴素贝叶斯模型、隐马尔可夫模型HMM等都是生成式模型，熟悉Naive Bayes的都知
道，对于输入X，需要求出好几个联合概率，然后较大的那个就是预测结果）
这样说，能明白了吗？ 如果还没有明白，举栗子吧还是。
3. 没有栗子，就没有明白没有栗子，就没有明白
如果感觉还是太复杂，看来说的还是不白活，那么我举两个栗子吧：
3.1 栗子一：栗子一：
资源评论
