面试笔试整理3：深度学习机器学习面试问题准备（必会） - CSDN博客1
需积分: 0 23 浏览量
2022-08-03
15:25:27
上传
评论 2
收藏 1.3MB PDF 举报
2018/6/28 面试笔试整理3：深度学习机器学习面试问题准备（必会） - CSDN博客
https://blog.csdn.net/woaidapaopao/article/details/77806273 1/16
原
面试笔试整理3：深度学习机器学习面试问题准备（必会）
2017年09月07日 01:13:54 阅读数：13030
woaidapaopao的博客
RSS订阅
首页 博客 学院 下载 GitChat TinyMind 论坛 问答 商城
搜博主文章
写博客 发Chat
第一部分：深度学习
1、神经网络基础问题
（1）Backpropagation（要能推倒）
后向传播是在求解损失函数L对参数w求导时候用到的方法，目的是通过链式法则对参数进行一层一层的求导。这里重点强调：要将参
数进行随机初始化而不是全部置0，否则所有隐层的数值都会与输入相关，这称为对称失效。
大致过程是:
首先前向传导计算出所有节点的激活值和输出值，
计算整体损失函数：
然后针对第L层的每个节点计算出残差（这里是因为UFLDL中说的是残差，本质就是整体损失函数对每一层激活值Z的导数），所以要对W求导只要再乘上
激活函数对W的导数即可
（2）梯度消失、梯度爆炸
梯度消失：这本质上是由于激活函数的选择导致的， 最简单的sigmoid函数为例，在函数的两端梯度求导结果非常小（饱和区），导致
后向传播过程中由于多次用到激活函数的导数值使得整体的乘积梯度结果变得越来越小，也就出现了梯度消失的现象。
梯度爆炸：同理，出现在激活函数处在激活区，而且权重W过大的情况下。但是梯度爆炸不如梯度消失出现的机会多。
（3）常用的激活函数
激活函数 公式 缺点 优点
联系我们
关于 招聘 广
©2018 CSDN版权
百度提供支持
经营性网站备案信
网络110报警服务
中国互联网举报中
北京互联网违法和
1点点加盟要
17
目录
收藏
评论
微信
微博
QQ
加入CSDN，享受更精准的内容推荐，与500万程序员共同成长！
登录
注册
评论0