没有合适的资源?快使用搜索试试~ 我知道了~
第3章 从零认识逻辑回归1
试读
21页
需积分: 0 0 下载量 156 浏览量
更新于2022-08-04
收藏 950KB PDF 举报
第 3 章 从零认识逻辑回归目录第 3 章 逻辑回归 13.1 模型的建立与求解 13.1.1 理解逻辑回归模型 13.1.2 建立逻辑回归模型 23.1.3
第 3 章 从零认识逻辑回归
目录
第 3 章 逻辑回归 ..................................................................................................................... 1
3.1 模型的建立与求解 ......................................................................................................... 1
3.1.1 理解逻辑回归模型 .................................................................................................. 1
3.1.2 建立逻辑回归模型 .................................................................................................. 2
3.1.3 求解逻辑回归模型 .................................................................................................. 2
3.1.4 逻辑回归示例代码 .................................................................................................. 2
3.1.5 小结 .......................................................................................................................... 4
3.2 多变量与多分类 ............................................................................................................. 4
3.2.1 多变量逻辑回归 ...................................................................................................... 4
3.2.2 多分类逻辑回归 ...................................................................................................... 4
3.2.3 多分类示例代码 ...................................................................................................... 5
3.2.4 小结 .......................................................................................................................... 6
3.3 常见的分类评估指标 ..................................................................................................... 6
3.3.1 二分类场景 .............................................................................................................. 6
3.3.2 二分类指标示例代码 .............................................................................................. 9
3.3.3 多分类场景 ............................................................................................................ 10
3.3.4 多分类指标示例代码 ............................................................................................ 12
3.3.5 小结 ........................................................................................................................ 12
3.4 目标函数推导 ............................................................................................................... 13
3.4.1 映射函数 ................................................................................................................ 13
3.4.2 概率表示 ................................................................................................................ 13
3.4.3 极大似然估计 ........................................................................................................ 14
3.4.4 求解梯度 ................................................................................................................ 14
3.4.5 从零实现二分类逻辑回归 .................................................................................... 15
3.4.6 从零实现多分类逻辑回归 .................................................................................... 17
3.4.7 小结 ........................................................................................................................ 18
1
第 3 章 逻辑回归
在第 2 章中,笔者详细的介绍了线性回归模型,那么本章开始将继续介绍下一个经典的
机器学习算法逻辑回归(Logistics Regression)。如图 3-1 所示为逻辑回归模型学习的大致
路线,其同样也分为三个阶段。在第一个阶段结束后,我们也就大致掌握了逻辑回归的基本
原理。下面就开始正式进入逻辑回归模型的学习。
图 3-1 逻辑回归学习路线图
3.1 模型的建立与求解
3.1.1 理解逻辑回归模型
通常来讲,一个新算法的诞生要么用来改善已有的算法模型,要么就是首次提出用来解
决一个新的问题。而逻辑回归模型恰恰属于后者,它是用来解决一类新的问题——分类
(Classification)。那什么又是分类问题呢?
现在有两堆样本点,需要建立一个模型来对新输入的样本进行预测,判断其应该属于那
个类别,即二分类问题(Binary Classification),如图 3-2 所示。
图 3-2 分类任务图
对于这个问题的描述用线性回归来解决肯定是不行的,因为两者本就属于不同类型的问
题。退一步讲,即使是用线性回归来建模得到的估计也就是一条向右倾斜的直线,而我们这
2
里需要的却是一条向左倾斜的且位于两堆样本点之间的直线。同时,回归模型的预测值都位
于预测曲的线附近,而无法做到区分直线两边的东西。那既然用已有的线性回归解决不了,
那我们可不可以在此基础上做一点改进以实现分类的目的呢?答案是当然可以。
3.1.2 建立逻辑回归模型
既然是解决分类问题,那么完全可以通过建立一个模型用来预测每个样本点属于其中一
个类别的概率
p
,如果
0.5p
那我们就可以认为该样本点属于这个类别,这样就能解决上
述的二分类问题。可该怎么建立这个模型呢?
在前面的线性回归中,通过建模
()h x wx b=+
来对新样本进行预测,其输出值为可能
的任意实数。但此处既然是要得到一个样本所属类别的概率,那最直接的办法就是通过一个
函数
()gz
,将
()hx
映射至[0,1]的范围即可。由此,便得到了逻辑回归中的预测模型
ˆ
( ) ( )y h x g wx b= = +
(3-1)
其中
,wb
为未知参数;
()hx
称为假设函数(Hypothesis)。当
()hx
大于某个值(通常
设为 0.5)时,便可以认为样本
x
属于正类,反之则认为属于负类。同时,也将
0wx b+=
称为两个类别间的决策边界(Decision Boundary)。当求解得到
,wb
后,也就意味着得到了
这个分类模型。
注意:回归模型一般来说都是指对连续值进行预测的一类模型,而分类模型都是指对离散值
(类标)预测的一类模型。但是由于历史的原因虽然逻辑回归被称为回归,但它却是一个分
类模型,这算是一个例外。
3.1.3 求解逻辑回归模型
当建立好模型之后就需要找到一种方法来求解模型中的未知参数。同线性回归一样,此
时也需要通过一种间接的方式,即通过目标函数来刻画预测标签(Label)与真实标签之间
的差距。当最小化目标函数后,便能得到需要求解的参数
,wb
。
同样,笔者先给出逻辑回归中的目标函数(第二阶段再讲来历):
( ) ( ) ( ) ( )
1
( ) ( )
1
( , ) log ( ) (1 )log(1 ( ))
( ) ( )
m
i i i i
i
ii
J w b y h x y h x
m
h x g wx b
=
= − + − −
=+
(3-2)
其中,
m
表示样本总数,
()i
x
表示第
i
个样本,
()i
y
表示第
i
个样本的真实标签,
()
()
i
hx
表示第
i
个样本为正类的预测概率。
由式(3-2)可以知道,当函数
( , )J w b
取得最小值的参数
ˆ
ˆ
,wb
,就是我们要求的目标参数。
原因在于,当
( , )J w b
取得最小值时就意味着此时所有样本的预测标签与真实标签之间的差
距最小,这同时也是最小化目标函数的意义。因此,对于如何求解模型
()hx
的问题就转化
为了如何最小化目标函数
( , )J w b
的问题。
至此,对逻辑回归算法第一阶段核心内容的学习也就只差一步之遥了,那就是评价指标
以及通过开源的框架来建模并进行预测。
3.1.4 逻辑回归示例代码
首先,为了便于后续的可视化过程以及了解分类的实质,笔者这里首先采用人为的方式
来构造一个数据集进行模型的训练;然后再通过 sklearn 中的 LogisticRegression 来完成模型
的求解。完整代码见 Book/Chapter03/01_decision_boundary.py 文件。
剩余20页未读,继续阅读
资源推荐
资源评论
2022-08-03 上传
2022-08-04 上传
164 浏览量
2017-12-05 上传
5星 · 资源好评率100%
137 浏览量
2021-09-11 上传
153 浏览量
5星 · 资源好评率100%
2021-10-12 上传
2018-05-04 上传
2016-06-10 上传
2022-06-20 上传
154 浏览量
2021-06-09 上传
5星 · 资源好评率100%
2022-04-21 上传
2021-07-10 上传
184 浏览量
5星 · 资源好评率100%
124 浏览量
5星 · 资源好评率100%
2009-01-09 上传
资源评论
FloritaScarlett
- 粉丝: 28
- 资源: 308
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- 年终奖雷区测试及注意说明.xls
- 谨防年终奖发放的“雷区”.xls
- 年终奖发放税筹、技巧及注意事项.pptx
- 六种薪酬模式下销售员工的年终奖发放策略(技巧篇).doc
- 员工年终奖分配方案(规范行政文件).doc
- 2016年终奖税率表(清晰一览表).docx
- 个税最佳配置表-月薪及年终奖.XLS
- 【化工行业】化学原料及成品制造业年终奖金制度.doc
- 【制造行业】绩效奖金、年终奖金发放办法(通用模板).docx
- 高管层年终奖避税测算表(含各税点测算).xlsx
- 工资年终奖调节试算表(模板).xls
- (3500)年终奖个税自动计算表.xls
- 一次性年终奖审批及发放明细表.xls
- 年终奖、年薪差个人所得税筹划方案测算表.xls
- 绩效奖金发放表(模板样式).xls
- 税前税后工资VS年终奖计算表(灵活-简单).xlsx
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功