302页吴恩达Deeplearning.ai课程笔记，详记基础知识与作业代码.
·循环迭代结构: 计算当前损失函数值(前向传播) 计算当前梯度值(反向传播) 更新参数(梯度下降) 通常1—3部分是分开构建的,然后整合到一个函数mode中。 125对mode()进行了代码实现,并画出了损失函数和梯度的图像 Learning rate =0.005 0. 0.6 0.b 0.4 门》 0.上 点! ilEIaliun; IIc,.=I 图1.2.3:损失函数 0.01 0.001 0.0001 〔)t 0 0.1 b teratosis 图1.2.4:三种不同学习率的学习曲线对比 1.3用隐藏层分类平面数据点 第3节介绍如何在神经网络中添加隐藏层以对平面数据点进行分类,本节将教你理解反向传播的工作 过程、隐藏层对捕捉非线性关系的作用,以及构建辅助函数的方法 重点内容包括:用单个隐藏层实现二分类器;使用非线性激活函数;计算交叉熵损失;实现前向和反向 传播。 1.3.1介绍必要的工具包;1.3.2介绍数据集的构成(平面上的红点和蓝点);1.3.3介绍无隐藏层的 logisti回归对该数据集的分类结果;1.34介绍添加了隐藏层的完整模型的实现过程和对该数据集的分 类;1.3.5展示了完整代码。 其中13.3的分类结果如下图所示 Logistic Regression 。 AP 图1.3.3: logistic回归 1.3.4中使用的神经网络的架构 hidden hayer ol site t CAnal input layer cutput lye probabllity prediction wy=+e 0.24 2 图1.3.4:神经网络模型 1.3.4构建神经网络的方法和1.2.4基本相同,重点强调了如何定义隐藏层结构和非线性激活函数的使 用,实现代码后,得到的运行结果为 Decision Boundary for hidden layer size 4 4 o 90D on dO 69∞0 嗡e9 图1.3.6:有隐藏层分类器的决策边界 其中,添加了隐藏层之后,必须使用非线性激活函数,因为不使用非线性激活函数的线性层堆叠是无意 义的,无法增大模型的复杂度和容量。 14一步步构建完整的深度神经网络 第4节介绍深度神经网络的完整架构,以及如何构建自定乂的模型。完成这部分后,你将学会:使用 ReLU激活函数提升模型的性能、构建更深的模型〔隐藏层数大于亻),以及实现易用的神经网络(模 块化思想)。 1.4.1介绍必要的工具包;1.4.2介绍任务概述;1.4.3介绍从2层网络到L层网络的初始化过程 1.4.4介绍前向传播模块的构建,从线性前向传播、线性+非线性激活前向传播,再到L层网络的前向 传播;1.4.5介绍损失函数;1.46介绍反向传播模块的构建,从线性反向传播、线性+非线性激活反向 传播,再到L层网络的反向传播;1.4.7展示了深度神经网络的完整代码。 Initialize all parameters Initialize Initialize W1 b1 φ a for num iterations L-1 Linear Relu Forward Linear Relu Forward Linear Relu Forward Upd i parameters Loss L-1 Linear Relu Backward Linear Rolu Backward Linear Relu backward predict 图1.4.1:任务概述 L d=Wx+b =reu(z) ewAlt L L da a aLaL L 风 azl da 图14.3:前向传播和反向传播的线性一ReLU-线性一 sigmoid的过程图示。上方表示前向传播,下方表示反向传播 1.5深度神经网络的图像分类应用 通过前面四节的学习,你已学会如何一步一步构建完整的深度神经网络。第5节介绍如何用深度神经 网络构建猫识别分类器。此前在 logistic回归网络中,识别准确率只能达到68%,而在完整的深度网络 中,识别准确率能达到80%! 完成本节后,你将学会:用前面介绍的所有辅助函数构建任意结构的神经网络;试验不同结构的神经网 络,并进行分析;理解构建辅助函数对构建网络的好处(对比从零开始) 1.5.1介绍必要的工具包;1.5.2介绍数据集(猫ⅴs.非猫);1.5.3介绍模型架构,其中分别构建了2 层和L层的神经网络;1.5.4介绍2层神经网络的训练和测试结果;1.5.5介绍2层神经网络的训练和 测试结果;1.5.6对结果进行分析;1.5.7介绍如何用你自己的图像训练分类模型;1.5.8展示了完整代 码 其中,2层神经网络的运行结果 Learning rate =0.0075 0. 06 0.5 0.4 0.3 0.2 0.1 0.0 C 司 15 20 Iterations iper tensi 图1.5.4:2层神经网络的损失函数 运行结果 predictions_train= predict(train_-x, train_y, parameters) #outpu Accuracy: 1.0 predictions_test predict(test_x, test_y, parameters) #0国tput Accuracy: 0.72 Learning rate =0.0075 0.8 0.7 0.6 0.5 04 0.3 0.2 0.1 0.0 10 15 20 25 iterations iper tens) 图1.5.5:L层神经网络的损失函数 运行结果 pred_train= predict(train__x, train_y, parameters) foutput Accuracy:0.985645933014 pred- test- predict(test_x, test y, parameters) foutput Accuracy: 0.8 通过比较可知,更深的网络有助于提高识别准确率(0.72vs.0.8;2层vs.5层)。 1.56简单总结了影响识别错误的因素 ·猫出现在非常规的位置 猫的颜色和背景相似 非常规的猫毛色和品种; 拍摄角度 照片的亮度; 猫的占图比例太小或太大。 这些识别错误可能跟全连接网络自身的局限性有关,包括参数共享、过拟合倾向(参数数量)和层级特 征方面,而这些问题将在卷积神经网络里得到改善。 2.提升深度神经网络性能 这一部分对应吴恩达 deeplearning. ai的第二门课程,重点从超参数调整、随机和 Xavier等参数初始化 方法、 Dropout和L2范数等正则化方法、以及1维和N维梯度检验方法来描述深度学习在实践上的性 能提升方法。当然,这一部分不仅包含课程知识点,还展示了课后问答与实现作业。 最优化在这一部分课程中也得到了重点讲解, Wan zhen的课程笔记从最基本的最速下降法到小批量随 机梯度下降介绍了基本的一阶梯度法,然后再探讨动量法与适应性学习率方法来利用历史梯度获得更好