没有合适的资源?快使用搜索试试~ 我知道了~
9181040G0818_黄海浪1
需积分: 0 0 下载量 58 浏览量
2022-08-03
20:25:45
上传
评论
收藏 480KB PDF 举报
温馨提示
试读
24页
2.1 梯度下降实现 2.1 随机梯度下降(每次使用 1 个变量更新,共 1000 次) 2.2 牛顿法实现
资源详情
资源评论
资源推荐
9181040G0818 黄海浪 机器学习第四次作业
1.使用梯度下降法求解(加上正则,解决过拟合问题)
归一化(快速收敛(保证能够收敛)):
!"
!#$%&'!(
$)!'!(#$%&'!(
Cost 函数(方差+正则;不对 theta0 进行惩罚):
*+,-."./"
0
1$
23
'4
!
'!
"#$
(#5
"#$
(
%
&
#'(
6
7
8
1$
3
9
)
%
*
)'(
梯度推导出有(取
8"0
,
8
值不同效果不一样,越大越平,不能<0;
!
+
"#$
."
.0
):
:/
:9
+
"
0
$
3
'9
+
!
+
"#$
79
(
!
(
"#$
#5
"#$
(
&
#'(
!
+
"#$
:/
:9
(
"
0
$
23
;'9
+
!
+
"#$
79
(
!
(
"#$
#5
"#$
(!
(
"#$
<
&
#'(
.
6
7
8
$
9
(
迭代步骤(
=">?>0
):
9
+
"9
+
#=
:/
:9
+
9
(
"9
(
#=
:/
:9
(
计算得到归一化处理后的
9
+(
.".>?01@A1BC1B>A0DB0>A
9
((
.".>?BEFAFCFB01@@EDEB
反归一化后得到
9
+
.".#D0@?BE>@BAEDC1FC
9
(
.".>?EBCEEEECEEDBAAF0@
Y =
9
(
G.7.9
+
预测 2014 年房价为 9.766834276225154
2.logistic 回归
2.1 梯度下降实现
由问题可以得到下面公式(其中随机梯度为随机选择部分样品进行更新,公式类
似,不过不是 1~m,而是 1~m 的子集)
① 归一化(快速收敛(保证能够收敛)):
!"
!#$%&'!(
$)!'!(#$%&'!(
② 假设:
ℎ
!
(𝑥
(#)
) % = % 𝑔(𝜃
%
𝑥
(#)
)
其中
H'I(.".
(
(,-
!"
、
𝜃" = " [𝜃
!
; 𝜃
"
; 𝜃
#
]""
、
𝑥" = " [𝑥
!
; 𝑥
"
; 𝑥
#
]
“
;
”表示列向
量
③Cost 函数(类似于概率;不对 theta0 进行惩罚):
*+,-"/"#
0
$
23
5
"#$
J+H4
!
'!
"#$
(
&
#'(
7'0#5
"#$
(J+H'0#4
!
'!
"#$
((
6
7
8
1$
3
9
)
%
*
)'(
④梯度推导出有(取
8">
,
8
值不同效果不一样,越大越平,不能<0;
!
+
"#$
."
.0
):
:/
:9
+
"
0
$
3
'4
!
'!
"#$
(#5
"#$
(
&
#'(
!
+
"#$
:/
:9
(
"
0
$
23
;'4
!
'!
"#$
(#5
"#$
(!
(
"#$
<
&
#'(
.
6
7
8
$
9
(
:/
:9
%
"
0
$
23
;'4
!
'!
"#$
(#5
"#$
(!
%
"#$
<
&
#'(
.
6
7
8
$
9
%
⑤迭代步骤(
=">?>0
):
9
+
"9
+
#=
:/
:9
+
9
(
"9
(
#=
:/
:9
(
9
%
"9
%
#=
:/
:9
%
⑥由于归一化后最后求得的
9
#
为
9
#
.
,易得
9
#
.
并非原始公式的
9
#
,需要做变换后才
能得到最终求的最后的
9
#
,显然此处 y 并不做归一化处理,有:
𝜃
%
𝑥
(
#
)
% = % 9
/
0
.79
1
0
!
1
0"2$
79
3
0
!
3
0"2$
其中
!
(
′
"
#
$
.".
4
#
(
%
)
5&#*
"
4
#
$
&64
"
4
#
$
5&#*
"
4
#
$
,
!
%
′
"
#
$
.".
4
'
(
%
)
5&#*
"
4
'
$
&64
"
4
'
$
5&#*
"
4
'
$
继而:
9
+
.79
(
!
(
"#$
79
%
!
%
"#$
.".9
+
.
.79
(
.
!
(
."#$
79
%
.
!
%
."#$
9
+
.".9
+
.
.7.
.9
(
.
$%&
'
!
(
(
$)!
'
!
(
(
#$%&
'
!
(
(
.7
.9
%
.
$%&
'
!
%
(
$)!
'
!
%
(
#$%&
'
!
%
(
.
9
(
.".
.9
(
.
$)!
'
!
(
(
#$%&
'
!
(
(
..
9
%
.".
.9
%
.
$)!
'
!
%
(
#$%&
'
!
%
(
结果:
图表 1 迭代 1e5 次结果
剩余23页未读,继续阅读
马克love
- 粉丝: 31
- 资源: 320
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0