CS231n课程笔记翻译：反向传播笔记
需积分: 16 108 浏览量
2017-08-14
11:32:20
上传
评论
收藏 603KB PDF 举报
CS231n
课
程
笔
记
翻
译
：
反向
传
播
笔
记
原
文
如
下
：
内容列表：
简介
简单表达式和理解梯度
复合表达式，链式法则，反向传播
直观理解反向传播
模块：Sigmoid例子
反向传播实践：分段计算
回传流中的模式
用户向量化操作的梯度
小结
简
介
目
标
：本节将帮助读者对
反向
传
播
形成直观而专业的理解。反向传播是利用
链
式
法
则
递归计算表达式的梯度的方
法。理解反向传播过程及其精妙之处，对于理解、实现、设计和调试神经网络非常
关
键
。
问
题
陈
述
：这节的核心问题是：给定函数 ，其中 是输入数据的向量，需要计算函数 关于 的梯度，也就是
。
目
标
：之所以关注上述问题，是因为在神经网络中 对应的是损失函数（ ），输入 里面包含训练数据和神经网
络的权重。举个例子，损失函数可以是SVM的损失函数，输入则包含了训练数据 、权重 和偏差
。注意训练集是给定的（在机器学习中通常都是这样），而权重是可以控制的变量。因此，即使能用反向传播计算
输入数据 上的梯度，但在实践为了进行参数更新，通常也只计算参数（比如 ）的梯度。然而 的梯度有时
仍然是有用的：比如将神经网络所做的事情可视化便于直观理解的时候，就能用上。
如果读者之前对于利用链式法则计算偏微分已经很熟练，仍然建议浏览本篇笔记。因为它呈现了一个相对成熟的反
向传播视角，在该视角中能看见基于实数值回路的反向传播过程，而对其细节的理解和收获将帮助读者更好地通过
本课程。
简
单
表
达
式
和
理
解
梯
度
从简单表达式入手可以为复杂表达式打好符号和规则基础。先考虑一个简单的二元乘法函数 。对两个
输入变量分别求偏导数还是很简单的：
解
释
：牢记这些导数的意义：函数变量在某个点周围的极小区域内变化，而导数就是变量变化导致的函数在该方向
上的变化率。
资源评论
相望_相忘
- 粉丝: 6
- 资源: 32
最新资源
- Screenshot_20240427_031602.jpg
- 网页PDF_2024年04月26日 23-46-14_QQ浏览器网页保存_QQ浏览器转格式(6).docx
- 直接插入排序，冒泡排序，直接选择排序.zip
- 在排序2的基础上，再次对快排进行优化，其次增加快排非递归，归并排序，归并排序非递归版.zip
- 实现了7种排序算法.三种复杂度排序.三种nlogn复杂度排序（堆排序，归并排序，快速排序）一种线性复杂度的排序.zip
- 冒泡排序 直接选择排序 直接插入排序 随机快速排序 归并排序 堆排序.zip
- 课设-内部排序算法比较 包括冒泡排序、直接插入排序、简单选择排序、快速排序、希尔排序、归并排序和堆排序.zip
- Python排序算法.zip
- C语言实现直接插入排序、希尔排序、选择排序、冒泡排序、堆排序、快速排序、归并排序、计数排序，并带图详解.zip
- 常用工具集参考用于图像等数据处理
资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！
点击此处反馈
