机器学习与深度学习面试系列十五（可微松弛和重参数化）1
需积分: 0 145 浏览量
2022-08-03
19:37:44
上传
评论
收藏 578KB PDF 举报
机
器
学
习
与
深
度
学
习
⾯
试
系
列
⼗
五
（
可
微
松
弛
和
重
参
数
化
）
为什么
需
要
可
微
松
弛
和
重
参
数
化
？
在
深
度
学
习中
，
我
们
⼏
乎
都
借
助
于
梯
度
下
降
来
进
⾏
优
化
，
正
如
前
⾯
的
⽂
章
说
的
，
⼤
部
分
深
度
学
习
模
型
都
属
于
可
微
编
程
。
可
微
编
程
要
求
各
个
模
块
都
是
可
微
的
，
或
“
⼏
乎
处处
可
微
”
的
。
对
于
“
⼏
乎
处处
可
微
”
的
情
况
，
我
们
需
要
对
个
别
不
可
微
的
情
况
额
外处
理
。
这
种
情
况
在
深
度
学
习中
很常
⻅
，
处
理
⽅
式
包
括
可
微
松
弛
(
diffe
r
e
nt
iable
r
ela
x
a
t
i
ons
)
和
重
参
数
化
(
r
e
p
a
r
a
m
e
t
e
r
i
s
a
t
i
ons
)
。
可
微
松
弛
就
是
⽤
⼀个
连
续
处处
可
微
的
函
数
去
近
似
⽬
标
函
数
，
重
参
数
化
就
是
重
写函
数
以
提
取
随
机
变
量
，
后
⾯
具
体举例
来
说
明
。
so
f
tm
a
x
解读
？
在
分
类
问题
中
，
我
们
常常
在
⽹络
的
最
后
⼀
层对
l
o
gi
ts
转
为
类
别
的
概
率
分
布
。
实
际
上，
从
名
字
上
我
们
⼤
概
就
可
以
猜
到
，
它
其
实
是
对
a
r
g
m
a
x
函
数
的
⼀
种
松
弛
。
例
如
：
我
们
正
在
做
⼀个
四
分
类
的
神
经⽹络
，
在
最
后
⼀
层
有
4
个
节
点
，
输
出分别
是
，
我
们
要
想
得
到
它属
于
哪
个
分
类
，
符
合
直
觉
的
做
法
应
该
是
直
接
做
a
r
g
m
a
x
函
数
。
但
是
a
r
g
m
a
x
函
数
我
们
很
难
求
其
梯
度
，
于
是
采
⽤
so
f
tm
a
x
这
样
⼀
种
松
弛形式
来
代
替
a
r
g
m
a
x
，
⽅
便
基
于
梯
度
的
优
化
器
对
⽹络
进
⾏
优
化
。
考
虑
带
有
t
e
mp
e
r
a
tur
e
p
a
r
a
m
e
t
e
r
T
的
so
f
tm
a
x
函
数
：
。
可
以
看
到
，
T
越
⼩
，
得
到
的
向
量
越
接
近
于
。
如
果
我
们
希
望
直
接
得
到分
类
，
可
以
再
乘
上
类
别
的
索
引
向
量
，
即
，
这
样
我
们
得
到
这
个
样本
的
类
别
应
该
是
1
。
。
评论0