从零开始：教你如何训练神经网络资源-CSDN文库

4星 · 超过85%的资源需积分: 10 79 浏览量 2017-12-20 15:36:33 上传评论收藏 195KB PDF 举报

资源推荐

资源详情

资源评论

从零开始：教你如何训练神经󰕲络

选󰙵TowardsDataScience

作者：Vitaly Bushaev

机之编译

作者从神经󰕲络简单的数学定义开始，沿着损失函数、激活函数和反向传播等法进步描述基本的优

化算法。在󰇹解这些基础后，本详细描述动󰮢法等当前分流󰢩的学习算法。此外，本系将在后

󰴯介绍 Adam 和遗传算法等其它重要的神经󰕲络训练法。

I. 简介简介

本是作者关于如何「训练」神经󰕲络的部分经验与󰤁解，处󰇹神经󰕲络的基础概念外，这篇章还描

述梯度下降（GD）及其部分变体。此外，该系章将在在后󰴯部分介绍当前较流󰢩的学习算

法，如：

动󰮢随机梯度下降法（SGD）

RMSprop 算法

Adam 算法（󰙵适应矩估计）

遗传算法

作者在第部分以󰴬常简单的神经󰕲络介绍开始，简单到仅仅󰨤够让󰇹解我们所谈论的概念。作者会解

释么是损失函数，以及「训练」神经󰕲络或者任何其他的机学习模型到底意味着么。作者的解释并

是个关于神经󰕲络全󰴯󰖳深度的介绍，事实上，作者希望我们读者已经对这些相关的概念早已然于

。如果读者想好地󰇹解神经󰕲络具体是如何运󰢩的，读者可以阅读《深度学习》等相关书籍，或参阅

末提供的相关学习资源表。

本作者以前在 kaggle 上进󰢩的猫狗鉴别竞赛（https://www.kaggle.com/c/dogs-vs-cats）为来解

释所有的东󰣽。在这个赛中我们󰴯临的任务是，给定张图󰅧，判断图中的动物是猫还是狗。

II. 定义神经󰕲络定义神经󰕲络

神经󰕲络（ANN）的产󰈿受到脑作机制的启发。尽管这种模拟是很严格的，但是 ANN 确实和

2017-12-11 机之

如果我们的数字于 0，我们就会使󰉁这个数字，如果它于 0，我们就会󰉁 0 去代替它。这个被󰉁在线

性神经元上的󰴬线性函数被称作激活函数。我们必须使󰉁某种󰴬线性函数的原因在后󰴯会变得很明显。总

结下，神经元使󰉁固定数󰋴的输和（标󰮢），并输出个标󰮢的激活值。前󰴯画出的神经元可以概括

成个公式，如下所示：

将我要写的内容稍微提前下，如果我们以猫狗鉴别的任务为，我们会把图󰅧作为神经元的输。也许

你会疑问：当神经元被定义为函数的时候，如何向它传递图󰅧。你应该记住，我们将图󰅧存储在计算机中

的式是将它拿个数组代表的，数组中的每个数字代表个像素的亮度。所以，将图󰅧传递到神经元

的式就是将 2 维（或者 3 维的彩󰚬图󰅧）数组展开，得到个维数组，然后将这些数字传递到神经

元。幸的是，这会导致我们的神经󰕲络会依赖于输图󰅧的，我们只能处󰇹由神经󰕲络定义的某个

固定的图󰅧。现代神经󰕲络已经发现解决这个问题的法，但是我们在这󰮟还是在这个限制下设计

神经󰕲络。

现在我们定义下神经󰕲络。神经󰕲络也是个数学函数，它就是很多相互连接的神经元，这󰮟的连接指

的是个神经元的输出被󰉁为另个神经元的输。下图是个简单的神经󰕲络，希望󰉁这张图能够将这

个定义解释得加清楚。

个简单的神经󰕲络。

上图定义的神经󰕲络具有 5 个神经元。正如你所看到的，这个神经󰕲络由 3 个全连接层堆叠󰖳成，即每

层的每个神经元都连接到下层的每个神经元。你的神经󰕲络有多少层、每层有多少个神经元、神

经元之间是怎么链接的，这这些因素共同定义个神经󰕲络的架构。第层叫做输层，包含两个神经

元。这层的神经元并是我之前所说的神经元，从某种意义󰖳󰤛，它并执󰢩任何计算。它们在这󰮟仅

仅代表神经󰕲络的输。󰖳神经󰕲络对󰴬线性的需求源于以下两个事实：1）我们的神经元是连在起的；

2）基于线性函数的函数还是线性的。所以，如果对每个神经元应󰉁个󰴬线性函数，神经󰕲络也会是

个线性函数󰖳已，那么它并单个神经元强。最后点需要强调的是：我们通常是想让个神经󰕲络

的输出在 0 到 1 之间，所以我们会将它按照概率对待。如，在猫狗鉴别的中，我们可以把接近

于 0 的输出视为猫，将接近于 1 的输出视为狗。为完成这个󰋴标，我们会在最后个神经元上应󰉁个

同的激活函数。我们会使󰉁 sigmoid 激活函数。关于这个激活函数，你󰋴前只需要知道它地返回值是

个介于 0 到 1 的数字，这正好是我们想要的。解释完这些之后，我们可以定义个和上图对应的神经󰕲络

。

定义个神经󰕲络的函数。

w

的上标代表神经元的索引，下标代表输的索引。

最后，我们得到某种函数，它以个数作为输，输出另个介于 0 到 1 之间的数。实际上，这个函数

怎样表达并重要，重要的是我们通过些权重将个󰴬线性函数参数化，我们可以通过改变这些权重

来改变这个󰴬线性函数。

III. 损失函数损失函数

在开始讨论神经󰕲络的训练之前，最后个需要定义的就是损失函数。损失函数是个可以告诉我们，

神经󰕲络在某个特定的任务上表现有多好的函数。做这件事的最直觉的办法就是，对每个训练样本，都

沿着神经󰕲络传递得到个数字，然后将这个数字与我们想要得到的实际数字做差再求平，这样计算出

来的就是预测值与真实值之间的距离，󰖳训练神经󰕲络就是希望将这个距离或损失函数减。

上式中的 y 代表我们想要从神经󰕲络得到的数字，y hat 指的个样本通过神经󰕲络得到的实际结果，i 是

我们的训练样本的索引。我们还是以猫狗鉴别为。我们有个数据集，由猫和狗的图󰅧组成，如果图󰅧

是狗，对应的标签是 1，如果图󰅧是猫，对应的标签是 0。这个标签就是对应的 y，在向神经󰕲络传递张

图󰅧的时候我们想通过神经󰕲络的得到的结果。为计算损失函数，我们必须遍历数据集中的每张图

󰅧，为每个样本计算 y，然后按照上󰴯的定义计算损失函数。如果损失函数较，那么说明我们的神

经󰕲络性能并是很好，我们想要损失函数尽可能的。为深地解损失函数和神经󰕲络之间的联

系，我们可以重写这个公式，将 y 换成󰕲络的实际函数。

IV. 训练训练

在开始训练神经󰕲络的时候，要对权值进󰢩随机初始化。显然，初始化的参数并会得到很好的结果。在

训练的过程中，我们想以个很糟糕的神经󰕲络开始，得到个具有󰷼准确率的󰕲络。此外，我们还希望

剩余15页未读，继续阅读

内容反馈

silly-k

2019-01-04

下载回来先看

ldbfrank1

粉丝: 1
资源: 20

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip