没有合适的资源?快使用搜索试试~ 我知道了~
IMSUVEN#ai-edu-preview#04.4-多样本计算2
需积分: 0 0 下载量 178 浏览量
2022-07-25
14:33:08
上传
评论
收藏 6KB MD 举报
温馨提示
试读
4.4 多样本单特征值计算 4.4.1 前向计算 4.4.2 损失函数 4.4.3 求 $w$ 的梯度 4.4.4 求 $b$ 的梯度
资源推荐
资源详情
资源评论
## 4.4 多样本单特征值计算
在前面的代码中,我们一直使用单样本计算来实现神经网络的训练过程,但是单样本计算有一些缺点:
1. 前后两个相邻的样本很有可能会对反向传播产生相反的作用而互相抵消。假设样本1造成了误差为 $0.5$,$w$ 的梯度计算结果是 $0.1$;紧接着样本2造成的误差为 $-0.5$,$w$ 的梯度计算结果是 $-0.1$,那么前后两次更新 $w$ 就会产生互相抵消的作用。
2. 在样本数据量大时,逐个计算会花费很长的时间。由于我们在本例中样本量不大(200个样本),所以计算速度很快,觉察不到这一点。在实际的工程实践中,动辄10万甚至100万的数据量,轮询一次要花费很长的时间。
如果使用多样本计算,就要涉及到矩阵运算了,而所有的深度学习框架,都对矩阵运算做了优化,会大幅提升运算速度。打个比方:如果200个样本,循环计算一次需要2秒的话,那么把200个样本打包成矩阵,做一次计算也许只需要0.1秒。
下面我们来看看多样本运算会对代码实现有什么影响,假设我们一次用3个样本来参与计算,每个样本只有1个特征值。
### 4.4.1 前向计算
由于有多个样本同时计算,所以我们使用 $x_i$ 表示第 $i$ 个样本,$X$ 是样本组成的矩阵,$Z$ 是计算结果矩阵,$w$ 和 $b$ 都是标量:
$$
Z = X \cdot w + b \tag{1}
$$
把它展开成3个样本(3行,每行代表一个样本)的形式:
$$
X=\begin{pm
点击阅读更多
资源评论
蒋寻
- 粉丝: 24
- 资源: 320
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功