林轩田《机器学习基石》课程笔记10 -- Logistic Regression1

《机器学习基石》课程笔记10 -- Logistic Regression1主要探讨了逻辑回归（Logistic Regression）这一重要的二分类算法。逻辑回归是一种线性模型，但它的输出不再是连续的实数值，而是用于解决离散的二分类问题，即预测事件发生的概率。 一、Logistic Regression Problem 在逻辑回归中，我们关注的是构建一个预测模型，该模型能够根据输入特征（如年龄、血压、体重等）给出一个介于0和1之间的概率估计，表示正类（例如心脏病）出现的可能性。与线性回归不同，逻辑回归的输出是通过sigmoid函数（S型函数）转换后的线性组合，确保结果始终在0和1之间。Sigmoid函数的形式为： \[ g(z) = \frac{1}{1 + e^{-z}} \] 其中，\( z = w^Tx \) 是特征向量 \( x \) 与权重向量 \( w \) 的内积，\( w^T \) 表示权重向量的转置。 二、Logistic Regression Error 在衡量模型的性能时，逻辑回归采用了不同于线性回归的误差函数。线性回归通常使用平方误差，而逻辑回归采用的是交叉熵误差（Cross-Entropy Error）。交叉熵误差体现了模型预测概率与真实标签之间的差异。当模型预测的似然性 \( h \) 与目标函数 \( f \) 接近时，误差最小。似然性的定义是： \[ L(h|D) = \prod_{i=1}^{N} p(y_i|h(x_i)) \] 其中，\( N \) 是样本数量，\( y_i \) 是第 \( i \) 个样本的真实标签，\( h(x_i) \) 是模型预测的似然性。通过取对数并求平均，可以将乘法问题转换为加法问题，得到交叉熵误差函数： \[ E(w) = -\frac{1}{N}\sum_{i=1}^{N}[y_i\log(h(x_i)) + (1-y_i)\log(1-h(x_i))] \] 三、Gradient of Logistic Regression Error 逻辑回归的误差函数是连续可微的，并且是凸函数，因此可以通过梯度下降法找到误差最小化的权重向量 \( w \)。梯度计算如下： \[ \nabla_w E(w) = -\frac{1}{N}\sum_{i=1}^{N}[y_i - h(x_i)]x_i \] 当梯度为0时，即 \( \nabla_w E(w) = 0 \)，此时的权重向量 \( w \) 是误差函数的最小值点。在实际应用中，数据集往往是非线性可分的，因此我们通常无法找到一个权重向量使得所有样本点的梯度均为0，但我们可以通过迭代优化方法（如梯度下降法或牛顿法）逐步逼近最优解。 总结来说，逻辑回归是一种广泛应用的二分类模型，它利用sigmoid函数将线性组合转换为概率估计，并通过最小化交叉熵误差来优化模型。理解逻辑回归的工作原理及其误差函数对于构建有效的分类模型至关重要。在实际应用中，我们通常通过计算梯度并利用优化算法来求得最佳的权重向量，从而实现对未知数据的准确预测。