CS231n课程笔记翻译：神经网络笔记11
需积分: 0 99 浏览量
2022-08-03
15:26:13
上传
评论
收藏 1.05MB PDF 举报
CS231n
课
程
笔
记
翻
译
：
神
经网络
笔
记
原
文
如
下
内容列表：
不用大脑做类比的快速简介
单个神经元建模
生物动机和连接
作为线性分类器的单个神经元
常用的激活函数
神经网络结构
层组织
前向传播计算例子
表达能力
设置层的数量和尺寸
小节
参考文献
快
速
简
介
在不诉诸大脑的类比的情况下，依然是可以对神经网络算法进行介绍的。在线性分类一节中，在给出图像的情况
下，是使用 来计算不同视觉类别的评分，其中 是一个矩阵， 是一个输入列向量，它包含了图像的全部
像素数据。在使用数据库CIFAR-10的案例中， 是一个[3072x1]的列向量， 是一个[10x3072]的矩阵，所以输出
的评分是一个包含10个分类评分的向量。
神经网络算法则不同，它的计算公式是 。其中 的含义是这样的：举个例子来说，它可以是
一个[100x3072]的矩阵，其作用是将图像转化为一个100维的过渡向量。函数 是非线性的，它会作用到
每个元素。这个非线性函数有多种选择，后续将会学到。但这个形式是一个最常用的选择，它就是简单地设置阈
值，将所有小于0的值变成0。最终，矩阵 的尺寸是[10x100]，因此将得到10个数字，这10个数字可以解释为是
分类的评分。注意非线性函数在计算上是至关重要的，如果略去这一步，那么两个矩阵将会合二为一，对于分类的
评分计算将重新变成关于输入的线性函数。这个非线性函数就是
改
变
的关键点。参数 将通过随机梯度下降
来学习到，他们的梯度在反向传播过程中，通过链式法则来求导计算得出。
一个三层的神经网络可以类比地看做 ，其中 是需要进行学习的参
数。中间隐层的尺寸是网络的超参数，后续将学习如何设置它们。现在让我们先从神经元或者网络的角度理解上述
计算。
单
个
神
经
元
建
模
神经网络算法领域最初是被对生物神经系统建模这一目标启发，但随后与其分道扬镳，成为一个工程问题，并在机
器学习领域取得良好效果。然而，讨论将还是从对生物系统的一个高层次的简略描述开始，因为神经网络毕竟是从
这里得到了启发。
生
物
动
机
与
连
接
评论0
最新资源