Logistic回归模型简介
需积分: 0 26 浏览量
2024-05-21
15:47:06
上传
评论
收藏 736KB DOC 举报
Logistic 回归模型
1 Logistic 回归模型的基本知识
1.1 Logistic 模型简介
主要应用在研究某些现象发生的概率
p
，比如股票涨还是跌，公司成功或失败的概率，以及讨论概率
p
与那些因素有关。显然作为概率值，一定有
10 �� p
，因此很难用线性模型描述概率
p
与自变量的关
系，另外如果
p
接近两个极端值，此时一般方法难以较好地反映 p 的微小变化。为此在构建
p
与自变量关
系的模型时，变换一下思路，不直接研究
p
，而是研究
p
的一个严格单调函数
)( pG
，并要求
)( pG
在
p
接近两端值时对其微小变化很敏感。于是 Logit 变换被提出来：
p
p
pLogit
�
�
1
ln)(
（1）
其中当
p
从
10 �
时，
)( pLogit
从
�����
，这个变化范围在模型数据处理上带来很大的方便，
解决了上述面临的难题。另外从函数的变形可得如下等价的公式：
X
T
X
T
T
e
e
pX
p
p
pLogit
�
�
�
�
���
�
�
1
1
ln)(
（2）
模型(2)的基本要求是，因变量（y）是个二元变量，仅取 0 或 1 两个值，而因变量取 1 的概率
)|1( XyP �
就是模型要研究的对象。而
T
k
xxxX ),,,,1(
21
��
，其中
i
x
表示影响
y
的第
i
个因素，它可
以是定性变量也可以是定量变量，
T
k
),,,(
10
����
��
。为此模型(2)可以表述成：
k
x
k
x
k
x
k
x
kk
e
e
pxx
p
p
���
���
���
���
���
�
������
�
�
�
�
110
110
110
1
1
ln
（3）
显然
pyE �)(
，故上述模型表明
)(1
)(
ln
yE
yE
�
是
k
xxx ,,,
21
�
的线性函数。此时我们称满足上面条件
的回归方程为 Logistic 线性回归。
Logistic 线性回归的主要问题是不能用普通的回归方式来分析模型，一方面离散变量的误差形式服从
伯努利分布而非正态分布，即没有正态性假设前提；二是二值变量方差不是常数，有异方差性。不同于多
元线性回归的最小二乘估计法则(残差平方和最小)，Logistic 变换的非线性特征采用极大似然估计的方法寻
求最佳的回归系数。因此评价模型的拟合度的标准变为似然值而非离差平方和。
定义 1 称事件发生与不发生的概率比为 优势比(比数比 odds ratio 简称 OR)，形式上表示为
OR=
k
x
k
x
e
p
p
���
���
�
�
�
110
1
（4）
定义 2 Logistic 回归模型是通过极大似然估计法得到的，故模型好坏的评价准则有似然值来表征，称
-2
ˆ
ln ( )L
b
为估计值
�
ˆ
的拟合似然度，该值越小越好，如果模型完全拟合，则似然值
ˆ
( )L
b
为 1，而拟合似
剩余18页未读，继续阅读
资源评论
