没有合适的资源?快使用搜索试试~ 我知道了~
第三章 线性模型1. 线性回归即线性回归试图学得:使 得如何确定、 呢?显然,关键在于如何衡量与y之间的差别。均方误差是回归任务中最常用的性能度量,因此试图让均
资源详情
资源评论
资源推荐
然而限时任务中 往往不是满秩矩阵。例如许多任务中,我们会遇到大量的变量,其数目甚至
超过样例数,导致X的列数多于行数,显然此时不满秩。此时可以解出多个 ,他们都能使均方误
差最小化,选择哪一个解作为输出,将有学习算法的归纳偏好决定,常见的做法是引入正则化。
对于上述样例,当我们希望线性模型的预测值逼近真是标记y时,就得到了线性回归模型。我们思
考一个问题,能否令模型预测值逼近y的衍生物呢。假如我们认为示例所对应的输出标记是在指数
尺度上变化,那就可将输出标记的对数作为线性模型逼近的目标,即:
这就是“对数线性回归”,它实际上是在试图让 逼近y。上式在形式上仍是线性回归,但实质
上已是在求取输入空间到输出空间的非线性函数映射:
更一般的,考虑单调可微函数 ,令:
这样的模型成为“广义线性模型”,其中函数 成为“联系函数”。显然,对数线性回归是广义
线性模型在 时的特例
推导参考:
线性回归公式推导
2. 对数几率回归
2.1 对数几率模型介绍
考虑二分类任务,其输出标记为 ,而线性回归模型产生的预测值 是实数,因
此,我们需要将实数z转换成0/1值。这里讨论一下”单位阶跃函数“
即预测值大于0判为正例,小于0判为反例,预测值为0则可任意判别
但根据上图可以看出,单位阶跃函数不连续,因此不能直接用作 。因此,我们需要找到一个
能在一定程度上近似单位阶跃函数的替代函数,并希望它单调可微,对数几率函数就是一个常用的
替代函数:
根据上图可以看出,对数几率函数将z值转化为一个接近0/1的值,并且其输出值在z=0附近变化很
陡,将对数几率函数作为 带入:
上式可变化为:
若将y视作样本x作为正例的可能性,则1-y是其反例可能性,两者比值称为几率,反映了x作为正例
的相对可能性,再对几率取对数则得到“对数几率”
由此可看出,该模型实质是在用线性回归模型的预测结果去逼近真实标记的对数几率,因此称作对
数几率模型。注意:虽然称作回归,但实质上是一种分类学习方法。
这种方法有很多优点,例如:他直接对分类可能性进行建模,无需事先假设数据分布,这样避免了
假设分布不准确带来的问题;他不是仅预测出“类别”,而是得到近似概率预测,这对许多需利用概
率辅助决策的任务很有用;此外,对数函数是任意阶可导的凸函数,有很好的数学性质,现有的很
多数值优化算法都可直接用于求解最优解。
2.2 模型参数的确定
将y视作类后验概率估计 ,则对数几率可重写为:
显然我们可以得到(式一、式二):
于是,我们可以用过“极大似然法”来估计
和
。给定数据集 ,对数回归模型最大化
“对数似然”:
即令没和样本属于其真是标记的概率越大越好,方便讨论,令 , ,因此可
将
可简写为 ,再令 ,
,则后验概率估计可重写为:
将上式代入对数似然,并将式一、式二带入,似然函数的最大值可等价于最小化:
推导过程如下:
确定最小化函数之后,似然函数是关于 的高阶可导连续凸函数,根据凸优化理论,经典的数值优
化算法如梯度下降法、牛顿法等都可求得最优解。
剩余15页未读,继续阅读
那你干哈
- 粉丝: 28
- 资源: 289
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0