Deep Learning Cheat Sheet-Hacker Noon.pdf

深度学习速查表 深度学习是人工智能领域的一个关键分支，主要关注通过多层神经网络进行复杂模式识别和决策。对于初学者来说，这个领域可能显得非常庞大和复杂，但掌握一些核心概念和术语能帮助快速入门。以下是一些深度学习的基础知识： 1. **梯度（Gradient）**：在深度学习中，梯度是多变量函数（如神经网络中的损失函数）的偏导数。它指示了损失函数随着输入变量变化的方向，通常我们用反向传播算法沿着梯度的负方向更新权重，以减小损失。 2. **反向传播（Backpropagation）**：反向传播是训练神经网络的核心算法。它通过前向传播计算出损失后，将误差逆向地传播回网络的每一层，更新权重以优化模型性能。反向传播利用微积分中的链式法则来计算每个参数对总损失的影响。 3. **激活函数**： - **Sigmoid**：Sigmoid函数是一种常用的激活函数，其值域在0到1之间，适用于二分类问题。它的图形呈"S"形，因此得名。然而，Sigmoid函数在梯度消失问题上表现不佳，这可能导致在网络深层学习时训练缓慢。 - **ReLU（Rectified Linear Units）**：ReLU是另一种常见的激活函数，其值域为[0, +∞)。相比于Sigmoid，ReLU在处理正数时更有效，且不容易出现梯度消失问题，因此在深度学习中广泛使用。 - **Tanh**：双曲正切函数Tanh与Sigmoid类似，但其值域在-1到1之间。Tanh通常用于初始化网络权重，有时也能提供更好的表现，因为它在整个区间内都有非零梯度。 4. **损失函数（Loss Function）**：损失函数衡量模型预测结果与真实结果之间的差距，是优化目标。常见的损失函数有均方误差（MSE）、交叉熵损失等。 5. **梯度下降（Gradient Descent）**：梯度下降是最优化方法之一，用于最小化损失函数。它通过迭代调整模型参数，使损失函数逐渐减小，直到找到局部最优解或全局最优解。 6. **超参数（Hyperparameters）**：超参数是在开始学习过程之前设置的参数，如学习率、批次大小、网络层数和每层神经元数量。它们不直接参与模型的学习过程，但对模型性能有重大影响。 7. **批次（Batch）**：在训练过程中，数据通常按批次送入模型。批次大小是每次更新权重时使用的样本数量，影响学习速度和模型稳定性。 8. **优化器（Optimizer）**：优化器如随机梯度下降（SGD）、动量SGD、Adam等，负责在训练过程中更新权重。它们引入不同的策略来改善梯度下降的效率和收敛性。 9. **神经网络架构**：包括卷积神经网络（CNN）、循环神经网络（RNN）、长短期记忆网络（LSTM）、自注意力机制（Self-Attention）等，每种架构都有特定的应用场景，如图像识别、自然语言处理等。 10. **深度学习框架**：如TensorFlow、PyTorch、Keras等，提供了构建和训练深度学习模型的工具和接口，大大简化了开发过程。 了解并熟练掌握这些基本概念是深入学习之旅的第一步。随着实践的积累，你将能够理解和解决更复杂的深度学习问题，创建出强大的机器学习模型。