分类问题损失函数–交叉熵_分类交叉熵资源-CSDN文库

146 浏览量 2021-01-06 15:06:08 上传评论 1 收藏 122KB PDF 举报

资源推荐

资源详情

资源评论

分类问题损失函数分类问题损失函数 – 交叉熵交叉熵

参考链接：https://zhuanlan.zhihu.com/p/61944055

信息熵：信息熵：表示随机变量不确定的度量，是对所有可能发生的事件产生的信息量的期望。熵越大，随机变量或系统的不确定性

就越大。公式如下：

相对熵：相对熵：又称KL散度，用于衡量对于同一个随机变量x的两个分布p(x)和q(x)之间的差异。在机器学习中，p(x)从常用于描述

样本的真实分布，而q(x)常用于表示预测的分布。KL散度值越小表示两个分布越接近。公式如下：

交叉熵交叉熵(cross entropy)：：将KL散度公式进行变形得到：

前半部分就是p(x)的熵，后半部分就是交叉熵：

机器学习中，我们常常使用KL散度来评估predict和label之间的差别，但是由于KL散度的前半部分是一个常量，所以我们常常

将后半部分的交叉熵作为损失函数，其实二者是一样的。

相对熵、交叉熵主要区别：相对熵、交叉熵主要区别：

参考地址：https://www.zhihu.com/question/41252833/answer/195901726

相对熵：用来衡量两个概率分布之间的差异。

交叉熵：用来衡量在给定的真实分布下，使用非真实分布所指定的策略消除系统的不确定性所需要付出的努力的大小。

应用：应用：

参考地址：https://blog.csdn.net/Biyoner/article/details/84728417

图像分割中最常用的loss function就是逐像素cross entropy。该损失函数分别检查每个像素，将类预测(深度方向的像素向量)

与我们的onehot目标向量进行比较。

交叉熵的损失函数单独评估每个像素矢量的类预测，然后对所有像素求平均值，所以我们可以认为图像中的像素被平等的学习

了。但是，医学图像中常出现类别不均衡类别不均衡（class imbalance）的问题，由此导致训练会被像素较多的类主导，对于较小的物

体很难学习到其特征，从而降低网络的有效性。

类别不均衡：类别不均衡：

参考链接：https://www.zhihu.com/search?type=content&q=class%20imbalance

机器学习中常常会遇到数据的类别不平衡（class imbalance），也叫数据偏斜（class skew）。以常见的二分类问题为例，我

们希望预测病人是否得了某种罕见疾病。但在历史数据中，阳性的比例可能很低（如百分之0.1）。在这种情况下，学习出好

的分类器是很难的，而且在这种情况下得到结论往往也是很具迷惑性的。

作者：temperamentalkj

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余0页未读，立即下载

内容反馈

weixin_38681218

粉丝: 10
资源: 945

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip