没有合适的资源?快使用搜索试试~ 我知道了~
资源详情
资源评论
资源推荐
1.log对数损失函数(逻辑回归)
2.平方损失函数(最小二乘法,OrdinaryLeastSquares)
3.指数损失函数(Adaboost)
4.Hinge损失函数(SVM)
5.其他损失函数
5.10-1损失函数
5.2绝对值损失函数
6.损失函数改进之Large-MarginSoftmaxLoss(基于最大间隔)
7.loss改进之带权重的loss
8、交叉熵
8.1softmax分类器
8.2交叉熵损失
9.Focalloss
10.smoothL1loss
11.tripletloss
12.centerloss
12.1softmaxloss
12.2centerloss
损
失
函
数
大
总
结
:
https://blog.csdn.net/qq_14845119/article/details/80787753
损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程
度,是一个非负实值函数,通常使用L(Y,f(x))来表示。损失函数越小,模型的鲁棒性
越好。损失函数是
经
验
风
险
函
数
的核心部分,也是
结
构
风
险
函
数
重要组成部分。模型
的结构风险函数包括了经验风险项和正则项,通常表示如下:
其中,前面的均值函数表示的是经验风险函数,L代表的是损失函数,后面的Φ是
正则化项(regularizer)或者叫惩罚项(penalty term),它可以是L1,也可以是
L2,或者其他的正则函数。整个式子表示的意思是
找
到
使
目
标
函
数
最
小
时
的
θ
值
。下
面主要列出几种常见的损失函数。
1.log对数损失函数(逻辑回归)
逻辑回归的损失函数并不是平方损失。平方损失函数可以通过线性回归在假设样本
是高斯分布的条件下推导得到,而逻辑回归得到的并不是平方损失。在逻辑回归的推
导中,它假设样本服从伯努利分布(0-1分布),然后求得满足该分布的似然函数,接
着取对数求极值等等。而逻辑回归并没有求似然函数的极值,而是把极大化当做一种
思想,进而推导出它的经验风险函数为:最小化负的似然函数(
即
max F(y, f(x)) —>
min -F(y, f(x)
)
。从损失函数的角度来看,它就成了log损失函数。
log
损
失
函
数
的
标
准
形式
:
L(Y,P(Y|X))=
−
logP(Y|X)
取对数是为了方便计算极大似然估计,因为在MLE中,直接求导比较困难,所以通
常都是先取对数再求导找极值点。损失函数L(Y,P(Y|X))表达的是样本X在分类Y的情况
下,使概率P(Y|X)达到最大值。(换言之,就是利用已知的样本分布,找到最有可能
(即最大概率)导致这种分布的参数值;或者说什么样的参数才能使我们观测到目前
这组数据的概率最大)。因为log函数是单调递增的,所以logP(Y|X)也会达到最大
值,因此在前面加上负号之后,
最
大
化
P(Y|X)
就
等
价
于
最
小
化
L
了
。
之所以有人认为逻辑回归是平方损失,是因为在使用梯度下降来求最优解的时候,
它的迭代式子与平方损失求导后的式子几乎一样,从而给人一种直观上的错觉。
平方损失梯度下降:
2.平方损失函数(最小二乘法,OrdinaryLeastSquares)
最小二乘法是线性回归的一种,OLS将问题转化成了一个凸优化问题。在线性回归
中,它假设样本和噪声都服从高斯分布(为什么假设成高斯分布呢?隐藏了一个小知
识 点 , 中 心 极 限 定 理 , 参 考
https://blog.csdn.net/u012284960/article/details/52207886)),最后通过极大
似然估计(MLE)可以推导出最小二乘式子。最小二乘的基本原则是:最优拟合直线应
该是使各点到回归直线的距离和最小的直线,即平方和最小。换言之,OLS是基于距离
的,而这个距离就是我们用的最多的欧几里得距离。为什么它会选择使用欧式距离作
为误差度量呢(即Mean squared error, MSE),主要有以下几个原因:
简单,计算方便;
欧氏距离是一种很好的相似性度量标准;
在不同的表示域变换后特征性质不变。
平
方
损
失
的
标
准
形式
如
下
:
L(Y,f(X))=(Y−f(X))2
当样本个数为n时,此时的损失函数变为:
整个式子表示的是残差的平方和,而我们的目的就是最小化这个目标函数值(没有加
入正则化)
在实际应用中,经常会使用均方差(MSE)作为一项衡量指标,公式如下:
3.指数损失函数(Adaboost)
指数损失函数的标准形式:
剩余12页未读,继续阅读
葡萄的眼泪
- 粉丝: 15
- 资源: 303
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0