没有合适的资源?快使用搜索试试~ 我知道了~
第八章深度模型的问题?如何应用深度模型的优化问题。1)深度模型训练的优化算法和传统的优化算法不同。前者通过降低代价函数的方式间接地优化性能度量P,机器学习中是最
资源详情
资源评论
资源推荐
PPT 上补充内容问题:
1、 自动编码可以干什么?
目前自编码器的应用主要有两个方面,第一是数据去噪,第二是为进行可视化而降维。
配合适当的维度和稀疏约束,自编码器可以学习到比 PCA 等技术更有意思的数据投影。
自动编码器就是一种尽可能复现输入信号的神经网络。为了实现这种复现,自动编码器
就必须捕捉可以代表输入数据的最重要的因素,就像 PCA 那样,找到可以代表原信息的主
要成分。自动编码器是一种数据的压缩算法,其中数据的压缩和解压缩函数是数据相关的、
有损的、从样本中自动学习的。在大部分提到自动编码器的场合,压缩和解压缩的函数是通
过神经网络实现的。这意味着自动编码器只能压缩那些与训练数据类似的数据。
2、 GAN 是一个怎样的模型?什么流程?怎么做?
生成模型 GAN 就是一种在拟合一张图像数组分布的一种模型,是概率统计结合深
度学习之后的一次升级。它包括生成模型+判别模型两部分。
流程如下图:将一个随机变量(可以是高斯分布,或 0 到 1 之间的均匀分布),通
过参数化的概率生成模型(通常是用一个神经网络模型来进行参数化),进行概率分布
的逆变换采样,从而得到一个生成的概率分布(图中绿色的分布模型)。其训练目标,
就是要最小化判别模型 D 的判别准确率。
具体训练:
GAN 采用了一种非常直接的交替优化方式,它可以分为两个阶段:
• 第一个阶段:固定判别模型 D,然后优化生成模型 G,使得判别模型的准确率
尽量降低。
• 第二个阶段:固定生成模型 G,来提高判别模型的准确率。
图(a)中黑色大点虚线 P(x)是真实的数据分布,绿线 G(z)是通过生成模型产生的数据
分布(输入是均匀分布变量 z,输出是绿色的曲线)。蓝色的小点虚线 D(x)代表判别函数。
在图(a)中,我们可以看到,绿线 G(z)分布和黑色 P(x)真实分布,还有比较大的差异。
这点也反映在蓝色的判别函数上,判别函数能够准确的对左面的真实数据输入,输出比
较大的值。对右面虚假数据,产生比较小的值。但是随着训练次数的增加,图(b)和
图(c)反映出,绿色的分布在逐渐靠近黑色的分布。到图(d),产生的绿色分布和真
实数据分布已经完全重合。这时,判别函数对所有的数据(无论真实的还是生成的数
据),输出都是一样的值,已经不能正确进行分类。G 成功学习到了数据分布,这样就
达到了 GAN 的训练和学习目的。
3、 感知机模型是什么?怎么训练?过程是怎样的?学习准则是什么?
感知机由 Rosenblatt 在 1957 年提出,是一种二类线性分类模型。输入一个实数值的
n 维向量(特征向量),经过线性组合,如果结果大于某个数,则输出 1,否则输出-1.
感知机训练过程:
学习准则:寻找最佳 W 的一种方法是:首先给权向量的每个分类赋一个随机的权
值,然后将这个感知机(此时模型参数已经有了)反复应用到所有的样本,如果样本分
类错误(当前权向量的感知机的输出结果),则修改权向量,直到所有样本被正确分类。
即误分类点到划分超平面 S(w*x+b=0)的总距离最小。
4、 传统机器学习的挑战?如何过度到深度学习的?
答:传统的机器学习算法的性能在很大程度上依赖给定数据的表示,表示的选择会对机器学
习算法的性能产生巨大的影响。,对于许多任务,我们很难知道应该提取那些特征深度学习
发觉表示本身,通过其他较简单的表示来表达复杂的表示,解决了表示学习中的核心问题
书上内容相关问题:
1、 深度学习历史趋势?为什么要用它?
答:20 世纪 40 年代到 60 年代深度学习的雏形出现在控制论中
20 世纪 80 年代到 90 年代深度学习以联结主义为代表
2006 年开始,以深度学习之名复兴
为什么用它:
1)与日俱增的数据量
2)与日俱增的模型规模
3)与日俱增的精度、复杂度和对现实世界的冲击。
2、 前向传播后向传播的算法?
答:整个神经网络的训练过程可以简要描述如下
(1)将训练集数据输入到神经网络的输入层,经过隐藏层,最后达到输出层并输出结
果,这是神经网络的前向传播过程;
(2)由于神经网络的输出结果与实际结果有误差,则计算估计值与实际值之间的误差,
并将该误差从输出层向隐藏层反向传播,直至传播到输入层
(3)在反向传播的过程中,根据误差调整各种参数的值;不断迭代上述过程,直至收
敛。
在正向传播结束之后,会根据预测值和标签计算 Loss,反向传播是按照链式法则计算 loss
对每个参数的偏导数,然后乘以学习率,更新参数。
3、 梯度算法(随机梯度和梯度下降)?
答:梯度下降算法包括随机梯度下降算法和批量梯度下降算法。
(1) 梯度下降算法:
剩余11页未读,继续阅读
萱呀
- 粉丝: 26
- 资源: 354
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功
评论0