吴恩达深度学习课程大佬们的笔记

# Deeplearning.ai深度学习教程中文笔记 课程概述 https://mooc.study.163.com/university/deeplearning_ai#/c [**笔记在线阅读**](http://www.ai-start.com/dl2017) 这些课程专为已有一定基础（基本的编程知识，熟悉**Python**、对机器学习有基本了解），想要尝试进入人工智能领域的计算机专业人士准备。介绍显示：“深度学习是科技业最热门的技能之一，本课程将帮你掌握深度学习。” 在这5堂课中，学生将可以学习到深度学习的基础，学会构建神经网络，并用在包括吴恩达本人在内的多位业界顶尖专家指导下创建自己的机器学习项目。**Deep Learning Specialization**对卷积神经网络 (**CNN**)、递归神经网络 (**RNN**)、长短期记忆 (**LSTM**) 等深度学习常用的网络结构、工具和知识都有涉及。 课程中也会有很多实操项目，帮助学生更好地应用自己学到的深度学习技术，解决真实世界问题。这些项目将涵盖医疗、自动驾驶、和自然语言处理等时髦领域，以及音乐生成等等。**Coursera**上有一些特定方向和知识的资料，但一直没有比较全面、深入浅出的深度学习课程——《深度学习专业》的推出补上了这一空缺。 课程的语言是**Python**，使用的框架是**Google**开源的**TensorFlow**。最吸引人之处在于，课程导师就是吴恩达本人，两名助教均来自斯坦福计算机系。完成课程所需时间根据不同的学习进度，大约需要3-4个月左右。学生结课后，**Coursera**将授予他们**Deep Learning Specialization**结业证书。 “我们将帮助你掌握深度学习，理解如何应用深度学习，在人工智能业界开启你的职业生涯。”吴恩达在课程页面中提到。 本人黄海广博士，以前写过吴恩达老师的机器学习个人笔记。目前我正在组织团队整理中文笔记，由热心的朋友无偿帮忙制作整理，并持续更新。我们的团队的工作致力于**AI**在国内的推广，不会损害**Coursera**以及吴恩达老师的商业利益。 本人水平有限，如有公式、算法错误，请及时指出，发邮件给我。 **笔记是根据视频和字幕写的，没有技术含量，只需要专注和严谨。** 黄海广 [我的知乎](https://www.zhihu.com/people/fengdu78/activities) 机器学习qq群：955171419（我们有13个群，加过一个就不需要加了） 微信公众号：机器学习初学者  [我的知乎](https://www.zhihu.com/people/fengdu78/) **主要编写人员**：黄海广、林兴木（第四所有底稿，第五课第一二周，第三周前三节）、祝彦森:（第三课所有底稿）、贺志尧（第五课第三周底稿）、张笑钦、覃立波、王翔、胡瀚文、 余笑、 郑浩、李怀松、 朱越鹏、陈伟贺、 曹越、 路皓翔、邱牧宸、 唐天泽、 张浩、 陈志豪、 游忍、 泽霖、沈伟臣、 贾红顺、 时超、 陈哲、赵一帆、 胡潇杨、段希、于冲、张鑫倩 **参与编辑人员**：黄海广、陈康凯、石晴路、钟博彦、向伟、严凤龙、刘成 、贺志尧、段希、陈瑶、林家泳、王翔、 谢士晨、蒋鹏 2018-04-14 本课程视频教程地址（B站）：https://www.bilibili.com/video/BV16r4y1Y7jv [笔记网站(适合手机阅读)](http://www.ai-start.com) 吴恩达老师的机器学习课程笔记和视频：https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes **此文档免费，请不要用于商业用途，可以自由传播。** **赠人玫瑰，手有余香！** haiguang2000@qq.com **转载请注明出处**：https://github.com/fengdu78/deeplearning_ai_books # 深度学习笔记目录 ## 第一门课 神经网络和深度学习(Neural Networks and Deep Learning) 第一周：深度学习引言(Introduction to Deep Learning) 1.1 欢迎(Welcome) 1.2 什么是神经网络？(What is a Neural Network) 1.3 神经网络的监督学习(Supervised Learning with Neural Networks) 1.4 为什么神经网络会流行？(Why is Deep Learning taking off?) 1.5 关于本课程(About this Course) 1.6 课程资源(Course Resources) 1.7 Geoffery Hinton 专访(Geoffery Hinton interview) 第二周：神经网络的编程基础(Basics of Neural Network programming) 2.1 二分类(Binary Classification) 2.2 逻辑回归(Logistic Regression) 2.3 逻辑回归的代价函数（Logistic Regression Cost Function） 2.4 梯度下降（Gradient Descent） 2.5 导数（Derivatives） 2.6 更多的导数例子（More Derivative Examples） 2.7 计算图（Computation Graph） 2.8 计算图导数（Derivatives with a Computation Graph） 2.9 逻辑回归的梯度下降（Logistic Regression Gradient Descent） 2.10 梯度下降的例子(Gradient Descent on m Examples) 2.11 向量化(Vectorization) 2.12 更多的向量化例子（More Examples of Vectorization） 2.13 向量化逻辑回归(Vectorizing Logistic Regression) 2.14 向量化逻辑回归的梯度计算（Vectorizing Logistic Regression's Gradient） 2.15 Python中的广播机制（Broadcasting in Python） 2.16 关于 Python与numpy向量的使用（A note on python or numpy vectors） 2.17 Jupyter/iPython Notebooks快速入门（Quick tour of Jupyter/iPython Notebooks） 2.18 逻辑回归损失函数详解（Explanation of logistic regression cost function） 第三周：浅层神经网络(Shallow neural networks) 3.1 神经网络概述（Neural Network Overview） 3.2 神经网络的表示（Neural Network Representation） 3.3 计算一个神经网络的输出（Computing a Neural Network's output） 3.4 多样本向量化（Vectorizing across multiple examples） 3.5 向量化实现的解释（Justification for vectorized implementation） 3.6 激活函数（Activation functions） 3.7 为什么需要非线性激活函数？（why need a nonlinear activation function?） 3.8 激活函数的导数（Derivatives of activation functions） 3.9 神经网络的梯度下降（Gradient descent for neural networks） 3.10（选修）直观理解反向传播（Backpropagation intuition） 3.11 随机初始化（Random+Initialization） 第四周：深层神经网络(Deep Neural Networks) 4.1 深层神经网络（Deep L-layer neural network） 4.2 前向传播和反向传播（Forward and backward propagation） 4.3 深层网络中的前向和反向传播（Forward propagation in a Deep Network） 4.4 核对矩阵的维数（Getting your matrix dimensions right） 4.5 为什么使用深层表示？（Why deep representations?） 4.6 搭建神经网络块（Building blocks of deep neural networks） 4.7 参数VS超参数（Parameters vs Hyperparameters） 4.8 深度学习和大脑的关联性（What does this have to do with the brain?） ## 第二门课 改善深层神经网络：超参数调试、正则化以及优化(Improving Deep Neural Networks:Hyperparameter tuning, Regularization and Optimization) 第一周：深度学习的实用层面(Practical aspects of Deep Learning) 1.1 训练，验证，测试集（Train / Dev / Test sets） 1.2 偏差，方差（Bias /Variance） 1.3 机器学习基础（Basic Recipe for Machine Learning） 1.4 正则化（Regularization） 1.5 为什么正则化有利于预防过拟合呢？（Why regularization reduces overfitting?） 1.6 dropout 正则化（Dropout Regularization） 1.7 理解 dropout（Understanding Dropout） 1.8 其他正则化方法（Other regularization methods） 1.9 标准化输入（Normalizing inputs） 1.10 梯度消失/梯度爆炸（Vanishing / Exploding gradients） 1.11 神经网络的权重初始化（Weight Initialization for Deep NetworksVanishing /Exploding gradients） 1.12 梯度的数值逼近（Numerical approximation of gradients） 1.13 梯度检验（Gradient checking） 1.14 梯度检验应用的注意�