山东大学（威海）90分+《深度学习》课程期末考试考纲核心问题之上

深度学习期末考试核心问题总结 本文总结了深度学习期末考试的核心问题，涵盖了梯度下降法、批量梯度下降法、随机梯度下降法、动量梯度下降法、自适应学习率的梯度下降法、逻辑回归、线性回归、sigmoid 函数、ROC 曲线、准确率、精确率、召回率、AUC 等概念。每个概念都详细解释了其定义、优缺点、作用和计算方法。 梯度下降法是深度学习中最基本的优化方法，用于更新模型参数以最小化损失函数。梯度下降法的基本思想是使用函数梯度来改善所要优化的函数值，更新方法为：w = w0 – lr \* w_grad，lr 为学习率。 批量梯度下降法是最原始的形式，它是指在每一次迭代时使用所有样本来进行梯度的更新。随机梯度下降法不同于批量梯度下降，它的具体思路是：算法中对 Theta 的每次更新不需要再全部遍历一次整个样本，只需要查看一个训练样本进行更新，之后再用下一个样本进行下一次更新。 动量梯度下降法是指在梯度下降算法中引入动量的优化方法，积累了梯度指数级衰减的移动平均值，避免了局部最小值问题。自适应学习率的梯度下降法是一类用于调节超参数的优化算法，包括 AdaGrad、Adam 等。 逻辑回归和线性回归都是机器学习中常用的算法，逻辑回归的输出是（0,1），损失函数为交叉熵损失函数，而线性回归的预测输出是（负无穷，正无穷），损失函数可以为平方差损失函数。 sigmoid 函数是一个重要的激活函数，在逻辑回归中用于将输出归一化到 0-1 之间。ROC 曲线是显示分类模型在所有分类阈值下的效果的图标，能够评判分类器的效果，不受分类阈值的影响，对不平衡的样本也有效。 准确率是模型预测正确的结果所占的比例，精确率和召回率都是评估分类模型性能的指标。AUC 是 ROC 曲线下的面积，曲线下的面积是测量从（0,0）到（1,1）之间 ROC 曲线以下的整个二维面积。 在神经网络中，ReLU 比 Sigmoid 和 tanh 好，因为 ReLU 能够缓解梯度消失问题。损失函数是指汇总各样本损失的数学函数，在机器学习中能够反映模型预测的准确程度。平方损失函数是一种常用的损失函数，计算方法为：L(y, y') = (y - y')^2。