LR，通常指的是Logistic Regression（逻辑回归），在统计学和机器学习领域中是一种广泛应用的分类算法。本篇文章将深入探讨LR中的常用术语，帮助你更好地理解和应用这一算法。
1. **逻辑函数（Sigmoid Function）**：逻辑回归的核心在于它的激活函数——sigmoid函数。这个函数将线性回归的结果映射到(0,1)之间，便于表示概率。Sigmoid函数的公式为：1 / (1 + e^(-z))，其中z是线性组合的结果。
2. **回归系数（Coefficient）**：在LR模型中，每个特征对应一个回归系数，表示该特征对输出变量（类别）的影响程度。系数的正负决定了特征对结果的促进或抑制作用。
3. **截距项（Intercept）**：也称为偏置项，是模型在所有特征值为0时的预测值。它调整模型的整体预测水平。
4. **最大似然估计（Maximum Likelihood Estimation, MLE）**：LR模型参数的常用估计方法，通过最大化样本数据出现的概率来确定模型参数。
5. **梯度下降法（Gradient Descent）**：优化算法，用于求解逻辑回归模型中回归系数的数值解。通过迭代更新模型参数，使得损失函数最小化。
6. **代价函数（Cost Function）**：也称为损失函数，衡量模型预测与真实结果的差异。对于二分类问题，常用的代价函数有平方误差和交叉熵损失。
7. **对数似然函数（Log-Likelihood）**：在LR中，代价函数通常选择为负对数似然函数，这有助于最大化似然性，从而找到最佳模型参数。
8. **正则化（Regularization）**：防止模型过拟合的技术，通过添加一个惩罚项到代价函数中。常见的正则化有L1（Lasso）和L2（Ridge）正则化。
9. **系数 shrinkage**：正则化的效果是缩小系数的绝对值，减少特征的重要性，避免过拟合。
10. **分类阈值（Classification Threshold）**：默认情况下，当预测概率大于0.5时，LR预测类别为1；小于0.5时预测为0。但实际应用中，可以根据需求调整这个阈值。
11. **AUC-ROC曲线（Area Under the ROC Curve）**：评估二分类模型性能的指标，表示模型正确识别正类的能力。ROC曲线是真正例率（True Positive Rate）与假正例率（False Positive Rate）的关系图。
12. **混淆矩阵（Confusion Matrix）**：用于评估分类模型准确性的表格，包含真阳性、真阴性、假阳性、假阴性四个指标。
13. **精确率（Precision）**：真正例占预测为正例的比例，表示预测为正例的样本中有多少是真正的正例。
14. **召回率（Recall）**：真正例占实际正例的比例，表示实际的正例中有多少被正确预测出来。
15. **F1分数（F1 Score）**：精确率和召回率的调和平均数，综合考虑了模型的精确性和召回率。
以上就是LR常用的一些术语，理解并掌握这些概念对于构建和评估有效的逻辑回归模型至关重要。在实际应用中，需要根据具体任务和数据特性灵活运用这些知识。
