深度学习课程笔记【KCBJ-SDXX-WED-005】

所需积分/C币:16 2018-01-28 10:58:41 3.65MB PDF
11
收藏 收藏
举报

深度学习课程笔记【KCBJ-SDXX-WED-005】,自己写的简洁版吴恩达深度学习课程笔记
吴恩达深度学习课程笔记【KCBJ- SDXX-WED】 目录 1.1日的和范围. 12文档约定 2知识要点 21逻辑回归单层神经络 22浅层神经树络双层神经网络 23深层神经网络 2479 24深度学习的实用层面 24.1概述… 242In范式正则化( Rcgularization) 24.3 Dropout正则化( Dropout regularization) 244其他正则化方法 24.5薮据Ⅹ预处理... 24.6权重W初始化( Weight Initialization) 12 247梯度验证测试( Gradient checking)… …12 25算法优化… 14 2.51Min-bach梯度下降… ∴14 252指数加权平均 14 2.53动量梯度下降( Gradient descent with momentun) 15 2.5.4 RMSprop( Root mean square prop 255Adam优化算法( Adapitvc moment Estimation) 256学习率衰减( Learning ratc decay) 257局部最优问题( The problem of local optima) 2.6超参数调试, batch归一化和程序框架 26.1超参数调试( Hyperparameter tuning 17 262 Batch归化( Batch normalization,BN) …17 26.3 Softman回归( sofinmax regression). 18 吴恩达深度学习课程笔记【KCBJ- SDXX-WED】 264深度学习框架 19 27结构化机器学习项目( Structuring Machine Learning Projects)…20 27,1机器学习策略概述( ML Strategy)…… 20 27,2正交化( Orthogonalization)… 20 2.7.3指标评估( evaluation metric) 20 2.7.4训练集、开发集、测试集( Train/ dev/test set) 27.5人的表现( human-level performance)…. 27.6改善你的模型表现( Improving your model performance) 2.7.7误差分析( error analysis) 278不同分布的训练集和测试集( Training and tcsting on diffcrent distributions 22 279迁移学习( Transfer learning)… 27.10多任务学习( Multi-task learning) .24 27.11端到端的深度学习(end- to-end deep learning 24 28卷积神经网络( Convolutional Neural Networks) 25 28.1概述 28.2填充( Padding)、卷积步长( strided convolutions) 26 2.8.3卷积树络正向传播( Forwardpropagation in convolutional neural networks )26 2.84卷积网络反向传播( Backpropagation in convolutional neural networks) 29 28.5卷积神经网络隐藏层信息 30 2.9深度卷积网络:实例探究( Deep convolutional models: case studies) 291经典网络( Classic networks 29.,2残差网络( Residual networks, ResEts) 32 29.3 Inception网终( Inception network) 2.9.4其他技巧 210目标检测( Object detection)..35 2.10.1概述…… 210.2滑动窗口检测( sliding windows detection) 吴恩达深度学习课程笔记【KCBJ- SDXX-WED】 210.3YOLO算法检测( YOLO algorithm detection)… 2.10.4候选区域检测( Region proposals detection) 38 211卷积网络:特殊应用( Convolutional model: Special application) 39 2111人脸识别( Face recognition) ··“·;“·““···+·+···“·“;.;4··· 39 2112人格转换( Neural style transfer)… ,·“+··a 吴恩达深度学习课程笔记【KCBJ- SDXX-WED】 1引言 11目的和范围 本文档用于记录吴恩达的《深度学习》的课程笔记 课程视频链接:htps:/ /study.163 com/my#/smarts 网络笔记参考:htp:/www.ai-start.com/d2017 作业和课件参考:htps:/gi Ithub. com/stormstone/deeplearning aiffuserconsentff 作业答案参考:htt:/mn. blog. csdn. net/hongbin xu 12文档约定 Logistic Regression 逻辑回归 吴恩达深度学习课程笔记【KCBJ- SDXX-WED】 2知识要点 21逻辑回归_单层神经网络 预测值 + b + b 激活函数- sigmoid函数 输出函数: (w'x+b) 损失函数、误差函数- Loss function C(爷,y)=-yog()-(1-y)0g(1-y) L(a, y)=-ylog (a)-(1-y)log(1 损失函数是单个训练样木的指标,为了衡量算法在全部m个训练样木的表现,需要定 义一个算法的代价函数: J(w, b) c(y 1 L(a, y) W2 b 图21单层神经网终示意图 反向传播计算: dt(a, y) da de dc(a, y) df(a,y) da da dz daa(1-a)=a-y 进一步计算: dCCa,y dc(a, y dz dw =x1(a dw dw 吴恩达深度学习课程笔记【KCBJ- SDXX-WED】 dC(a,y) df(a, y dz W d =x2(a-y) dc(a, y) dc(a, y)dz db db dz db 当考虑多个样本,使用代价函数取代损失函数计算时: d 1 d 2 dh 使用代码流程表示 J=0:dwl=0;dw2=0;db=0: Tor i=1 t ()=wx(i)+b a(1)-sigmoid(z(1); J+=-Iy()log(a()+(1-y()log(1-a(i)] dz(1)=a(i)-y(1) dw1+=xl(1)dz(1) dw2+=x2(1)d∠(i) db += dz(i) dwl/ dw2/=m: wI=wl-alpha dw l w2=w2-*dw2 b=b-alpha* db 共apha即为学习率, learning rate 使用向量化计算流程 Z-np. dot(.T,X) A-sigmoid(z) dz=A-Y dw=np. dot(x, dZ.T)/m db=np sum(dz)/m w=W-aplha*dw b=b-apIha * db 吴恩达深度学习课程笔记【KCBJ- SDXX-WED】 22浅层神经网络双层神经网络 两层神经网络示意图 x L(a,y) 层数 节点数 图2-2两层神经网络示意图 每个圆圈的细节示意图: 1 w'x+b(z 基于上述描述,对于任何变量 其中,i表示节点序列,l表示层序列,k表示样本序列,一般情况下对于第j层网终 节点,m个样本的矩阵输出值表示 D(1),[j(2),[(3)Dj(4) Lil(m) a ,D1(1)aU( ] a. a U](3)[j(4) 2 A D(1),U(2),D(3),[j(4) j](m) 3 D(1),D(2),D](3),[](4) (m) 其中,横向表示样本序列,纵向代表节点序列,所以神经网络L层间的达代计算可以 衣示为 吴恩达深度学习课程笔记【KCBJ- SDXX-WED】 Ⅹ [1] 1)=aW1A0+b1 = 1 WA +b -1b 以开始的两层神经网终图2-2为例,各个知阵值的尺寸为: A=(3,m) A 1 (4,m) A W 14 3 ,1) (1,4) 常用激活函数种类 激活函数g(z 输出值a 导数g(z) 图形 优缺点 1 只在输出层是一个 Sigmoid 1+e 二分类问题使用 tanh(z) ez+e-z/1 几乎适合所有场合 RelU max(0, z) 0,z<0 1,z>0 常用默认激活函数 Leaky Relu max(z,z),A<<1 λ,z<0 1,z>0 常用默认激活函数 5

...展开详情
试读 47P 深度学习课程笔记【KCBJ-SDXX-WED-005】
立即下载
限时抽奖 低至0.43元/次
身份认证后 购VIP低至7折
一个资源只可评论一次,评论内容不能少于5个字
您会向同学/朋友/同事推荐我们的CSDN下载吗?
谢谢参与!您的真实评价是我们改进的动力~
关注 私信
上传资源赚钱or赚积分
最新推荐
深度学习课程笔记【KCBJ-SDXX-WED-005】 16积分/C币 立即下载
1/47
深度学习课程笔记【KCBJ-SDXX-WED-005】第1页
深度学习课程笔记【KCBJ-SDXX-WED-005】第2页
深度学习课程笔记【KCBJ-SDXX-WED-005】第3页
深度学习课程笔记【KCBJ-SDXX-WED-005】第4页
深度学习课程笔记【KCBJ-SDXX-WED-005】第5页
深度学习课程笔记【KCBJ-SDXX-WED-005】第6页
深度学习课程笔记【KCBJ-SDXX-WED-005】第7页
深度学习课程笔记【KCBJ-SDXX-WED-005】第8页
深度学习课程笔记【KCBJ-SDXX-WED-005】第9页
深度学习课程笔记【KCBJ-SDXX-WED-005】第10页

试读结束, 可继续读5页

16积分/C币 立即下载