没有合适的资源?快使用搜索试试~ 我知道了~
boboboblog#ai-edu_bobo#04.4-多样本计算1
需积分: 0 0 下载量 46 浏览量
2022-07-25
14:32:42
上传
评论
收藏 6KB MD 举报
温馨提示
4.4 多样本单特征值计算 4.4.1 前向计算 4.4.2 损失函数 4.4.3 求w的梯度 4.4.4 求b的梯度
资源推荐
资源详情
资源评论
## 4.4 多样本单特征值计算
在前面的代码中,我们一直使用单样本计算来实现神经网络的训练过程,但是单样本计算有一些缺点:
1. 很有可能前后两个相邻的样本,会对反向传播产生相反的作用而互相抵消。假设样本1造成了误差为0.5,w的梯度计算结果是0.1;紧接着样本2造成的误差为-0.5,w的梯度计算结果是-0.1,那么前后两次更新w就会产生互相抵消的作用。
2. 在样本数据量大时,逐个计算会花费很长的时间。由于我们在本例中样本量不大(200个样本),所以计算速度很快,觉察不到这一点。在实际的工程实践中,动辄10万甚至100万的数据量,轮询一次要花费很长的时间。
如果使用多样本计算,就要涉及到矩阵运算了,而所有的深度学习框架,都对矩阵运算做了优化,会大幅提升运算速度。打个比方:如果200个样本,循环计算一次需要2秒的话,那么把200个样本打包成矩阵,做一次计算也许只需要0.1秒。
下面我们来看看多样本运算会对代码实现有什么影响,假设我们一次用3个样本来参与计算,每个样本只有1个特征值。
### 4.4.1 前向计算
由于有多个样本同时计算,所以我们使用$x_i$表示第 $i$ 个样本,X是样本组成的矩阵,Z是计算结果矩阵,w和b都是标量:
$$
Z = X \cdot w + b \tag{1}
$$
把它展开成3个样本(3行,每行代表一个样本)的形式:
$$
X=\
点击阅读更多
资源评论
懂得越多越要学
- 粉丝: 28
- 资源: 307
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功