【深度学习吴恩达课程笔记(二)-浅层神经网络、深层神经网络】涵盖了神经网络的基础知识，包括浅层神经网络的构建与反向传播，激活函数的选择，以及深层神经网络的优势。
浅层神经网络的核心是双层神经网络。这种网络由输入层、隐藏层和输出层构成。输入层接收数据，隐藏层处理数据，输出层产生结果。在一次训练过程中，正向传播先将输入数据通过隐藏层的各个神经元计算，然后经过激活函数转化为激活值，最终到达输出层。反向传播则根据预测值与实际值的误差，从输出层开始计算损失函数的梯度，逐层反向更新权重和偏置，以优化模型。
双层神经网络的前向传播涉及到多个样本的处理。每个样本的特征通过权重和偏置计算得到隐藏层的Z值，接着激活得到A值。同样，隐藏层的A值继续传递并计算输出层的Z和A。在矩阵运算中，需要注意保持正确的维数匹配，以确保计算的准确性。
激活函数是神经网络中的关键元素。sigmoid函数常用于二元分类的输出层，但容易出现梯度消失问题。tanh函数在计算速度上优于sigmoid，并且适用于多数情况。ReLU是最常用的激活函数，因为它能有效缓解梯度消失问题，而leaky ReLU是ReLU的改进版，解决了ReLU的“死亡神经元”问题。
使用非线性激活函数的原因在于，线性激活函数无法处理非线性可分问题，且会引发梯度消失，降低模型的表达能力和学习效率。而非线性激活函数则能引入非线性变换，增强模型对复杂模式和特征的学习能力，特别是在深层神经网络中，这是必不可少的。
对于权重W的随机初始化，这是为了避免所有神经元在训练初期产生相同的行为，导致模型无法学习到多样性的特征。初始化时，权重应设置得较小，以保证激活函数的导数值较大，有利于快速学习。
在深层神经网络中，深层表示（Deep Representation）是重要的概念。通过多层非线性变换，深层网络可以提取输入数据的高级特征，增强模型的表达能力。深层表示有以下几个优势：1) 提高特征表达能力，通过逐层抽象，模型能更好地捕捉数据的结构；2) 实现特征的层次化表示，有助于理解和解释数据；3) 优化梯度传播，使得深层网络在训练时更高效；4) 分离和表示数据的不同方面，例如在图像识别中，底层特征可能包含边缘和纹理，而高层特征可能涉及物体识别。
本课程笔记详细介绍了浅层神经网络的结构、前向传播与反向传播，激活函数的作用，以及深层神经网络的优势和深层表示的原理。这些知识是理解深度学习和神经网络的基础，对于进一步深入学习深度学习算法和技术至关重要。
