没有合适的资源?快使用搜索试试~ 我知道了~
资源推荐
资源详情
资源评论
对数几率回归
(
logisticregression
,
LR
)
是机器学习中的一个基础分类模型。
线性回归中,我们直接令模型学习逼近真实标签
y
,但在对数几率回归中,我们需要找到一个映射函数
将线性回归模型的预测值转换为
0/1
值
Sigmoid
函数是一个较好的映射函数选择,使得对数几率回归可以进行。
Sigmoid
函数的表达式为:
单调可微
取值范围为
(0, 1)
具有较好的求导性质,其求导函数可以用其本身来表达
ML005 对数几率回归
- 对数几率回归是一种线性分类模型
- 广泛应用于各类业务场景:信用卡场景下基于客户数据进行违约预测,互联网广告场景下预测
用户是否会点击广告,医疗场景下给予患者的体检数据预测是否患某种疾病,社交场景下判断一
封邮件是否是垃圾邮件
一、对数几率回归的原理推导
线性模型执行分类任务:是通过找到一个单调可微函数将分类任务的真实标签y与线性回归模型
的预测值进行映射
(一)
Sigmoid
函数
1、函数表达式
y
=
1
1 +
e
−
z
(005-1)
f
′
(
x
) =
f
(
x
)(1 −
f
(
x
)) (005-2)
对数几率回归表达式
将
y
看作样本
x
作为正例的可能性,则
1 −
y
则是样本作为反例的概率
y
1−
y
也成为几率(
odd
),对几率取对数则得到对数几率
对数几率回归实质上是使用线性回归模型
w
T
+
b
逼近对数几率
ln
y
1−
y
表达式推导
线性回归模型的公式:
将公式
(005 − 4)
代入公式
(005 − 1)
,得到:
2、
Sigmoid
函数图像
(二)对数几率回归的基本数学推导
1、对数几率回归模型表达式
ln
y
(1 −
y
)
=
w
T
x
+
b
(005-3)
z
=
w
T
x
+
b
(005-4)
1
对公式
(005 − 5)
两边取对数并转换为:
经典交叉熵损失函数:
其中
ˆ
y
=
1
1+
e
−(
w
T
x
+
b
)
给定训练集
{(
x
i
,
y
i
)}
m
i
=1
,将公式
(005 − 5)
中的
y
视为类后验概率估计
p
(
y
= 1|
x
)
,则
1 −
y
可以换成
p
(
y
= 0|
x
)
对数几率回归模型表达式可重写为:
y
=
1
1 +
e
−(
w
T
x
+
b
)
(005-5)
lny
=
ln
(
1
1 +
e
−(
w
T
x
+
b
)
)
(1 −
y
) = (1 −
1
1 +
e
−(
w
T
x
+
b
)
)
= (
e
−(
w
T
x
+
b
)
1 +
e
−(
w
T
x
+
b
)
)
ln
y
(1 −
y
)
=
ln
(
1
1+
e
−(
w
T
x
+
b
)
e
−(
w
T
x
+
b
)
1+
e
−(
w
T
x
+
b
)
)
=
ln
(
1
e
−(
w
T
x
+
b
)
)
=
ln
(1) −
ln
(
e
−(
w
T
x
+
b
)
)
=
ln
(
e
(
w
T
x
+
b
)
)
=
w
T
x
+
b
2、模型参数
w
和
b
确定
对数几率回归参数确定有两条途径:
- 直接基于模型主体推导出交叉熵损失函数,基于损失函数进行梯度优化
- 通过极大似然法进行参数优化推导
对数几率回归虽是分类模型的,但总体上仍属于线性模型框架
(1)交叉熵损失函数
lnp
(
y
|
x
) =
yln
ˆ
y
+ (1 −
y
)
ln
(1 − ˆ
y
)
(005-6)
( | )
结合
p
(
y
= 1|
x
) +
p
(
y
= 0|
x
) = 1
,可得:
- 推导
- 推导
整合公式
(005 − 8)
和
(005 − 9)
:
整合可以从极大似然性的角度出发,把上面两种情况整合到一起
当真实样本标签
y
= 0
时,上面式子第一项就为
1
,概率等式转化为:
ln
p
(
y
= 1|
x
)
p
(
y
= 0|
x
)
=
w
T
x
+
b
(005-7)
p
(
y
= 1|
x
) =
e
w
T
+
b
1 +
e
w
T
+
b
= ˆ
y
(005-8)
ln
p
(
y
= 1|
x
)
p
(
y
= 0|
x
)
=
w
T
x
+
b
ln
p
(
y
= 1|
x
)
1 −
p
(
y
= 1|
x
)
=
w
T
x
+
b
p
(
y
= 1|
x
)
1 −
p
(
y
= 1|
x
)
=
e
w
T
x
+
b
(1 +
e
w
T
x
+
b
)
p
(
y
= 1|
x
) =
e
(
w
T
x
+
b
)
p
(
y
= 1|
x
) =
e
(
w
T
x
+
b
)
1 +
e
w
T
x
+
b
p
(
y
= 0|
x
) =
1
1 +
e
w
T
+
b
= 1 − ˆ
y
(005-9)
ln
p
(
y
= 1|
x
)
p
(
y
= 0|
x
)
=
w
T
x
+
b
ln
1 −
p
(
y
= 0|
x
)
p
(
y
= 0|
x
)
=
w
T
x
+
b
1 −
p
(
y
= 0|
x
)
p
(
y
= 0|
x
)
=
e
w
T
x
+
b
(1 +
e
w
T
x
+
b
)
p
(
y
= 0|
x
) = 1
p
(
y
= 0|
x
) =
1
1 +
e
w
T
x
+
b
p
(
y
|
x
) =
ˆ
y
y
+ (1 −
ˆ
y
)
1−
y
(005-10)
剩余16页未读,继续阅读
资源评论
Bachelor_Hu
- 粉丝: 85
- 资源: 14
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功