### 线性模型推导
#### 一、标准线性回归
线性回归是一种用于预测连续数值型目标变量的方法，其基本假设是输入特征与输出之间存在线性关系。
##### 1.1 均方误差 (RMSE)
对于一组训练样本 \(\{(x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)\}\)，其中 \(x_i\) 是特征向量，\(y_i\) 是对应的观测值，均方根误差（Root Mean Squared Error, RMSE）是评估模型预测准确性的常用指标之一。定义为：
\[
RMSE = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - w^T x_i)^2}
\]
其中，\(w\) 是模型参数向量，\(w^T x_i\) 表示对第 \(i\) 个样本的预测值。
##### 1.2 均方误差向量化
将上述公式改写为向量形式，便于后续操作：
\[
RMSE = \sqrt{(\mathbf{Y} - \mathbf{Xw})^T (\mathbf{Y} - \mathbf{Xw})}
\]
这里，\(\mathbf{Y}\) 是一个包含所有观测值的列向量，\(\mathbf{X}\) 是一个由所有特征向量组成的矩阵。
##### 1.3 最小化均方误差
为了找到最优的模型参数 \(w\)，我们需要最小化均方误差。通过求导并设置导数等于零得到：
\[
2\mathbf{X}^T (\mathbf{Y} - \mathbf{Xw}) = 0
\]
从而得到参数 \(w\) 的闭式解：
\[
w = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{Y}
\]
需要注意的是，并非所有的 \(\mathbf{X}^T \mathbf{X}\) 都是满秩矩阵。如果特征数量大于样本数量，则矩阵 \(\mathbf{X}^T \mathbf{X}\) 可能不是满秩矩阵，这会导致无法求解。
##### 1.4 优缺点
- **优点**：简单直观，易于理解和实现。
- **缺点**：无法很好地处理非线性数据；当特征数远大于样本数时，模型可能无法得到唯一解。
#### 二、Ridge回归
Ridge回归是一种线性回归模型的变种，它通过在损失函数中加入一个正则项来解决过拟合问题。
##### 2.1 罚函数 & 正则项
Ridge回归的损失函数包括原始的均方误差和一个正则项：
\[
RMSE = \sqrt{(\mathbf{Y} - \mathbf{Xw})^T (\mathbf{Y} - \mathbf{Xw}) + \lambda ||w||_2^2}
\]
这里的 \(||w||_2^2\) 表示 \(w\) 的 L2 范数平方，\(\lambda > 0\) 是正则化强度。
##### 2.2 最小化均方误差
同样地，我们求导数并设置导数等于零，得到：
\[
2\mathbf{X}^T (\mathbf{Y} - \mathbf{Xw}) + 2\lambda w = 0
\]
从而得到参数 \(w\) 的闭式解：
\[
w = (\mathbf{X}^T \mathbf{X} + \lambda I)^{-1} \mathbf{X}^T \mathbf{Y}
\]
这里 \(I\) 表示单位矩阵。正则化项使得即使 \(\mathbf{X}^T \mathbf{X}\) 不是满秩矩阵也能求解。
##### 2.3 优缺点
- **优点**：通过正则化项有效解决了模型过拟合问题。
- **缺点**：虽然可以避免过拟合，但是可能会导致欠拟合现象。
#### 三、Lasso回归
Lasso回归是另一种线性回归模型变种，通过在损失函数中加入 L1 范数作为正则项来实现稀疏性。
##### 3.1 罚函数 & 正则项
Lasso回归的损失函数为：
\[
RMSE = \sqrt{(\mathbf{Y} - \mathbf{Xw})^T (\mathbf{Y} - \mathbf{Xw}) + \lambda ||w||_1}
\]
这里的 \(||w||_1\) 表示 \(w\) 的 L1 范数，即各元素绝对值之和。
##### 3.2 逐步向前回归算法
由于 L1 正则项的存在，使得 Lasso 回归的损失函数非凸，无法直接通过解析法求解。通常采用逐步向前回归算法来逼近最优解。
- **数据标准化**：将特征标准化为均值为0，方差为1的形式。
- **迭代**：逐个调整每个特征对应的权重，直到达到收敛条件。
##### 3.3 优缺点
- **优点**：能够实现特征选择，自动剔除不重要的特征。
- **缺点**：计算复杂度较高，特别是在高维数据集上。
#### 四、Logistic回归
Logistic回归用于分类任务，特别是二分类问题。它通过对线性回归的输出应用 sigmoid 函数，将线性预测转换为概率预测。
##### 4.1 Sigmoid函数
Sigmoid 函数定义为：
\[
f(z) = \frac{1}{1 + e^{-z}}
\]
这里的 \(z\) 通常是线性回归的输出。
##### 4.2 极大似然估计
Logistic回归的目标是最大化数据的对数似然函数，通常采用梯度下降等优化算法来求解。
#### 五、回归结果性能度量
常用的性能度量指标有：
- **皮尔逊相关系数**：衡量两个变量之间的线性相关程度。
- **均方误差 (MSE)**：平均预测值与实际值之间的平方差。
#### 六、L1范数与L2范数
L1范数和L2范数的区别主要体现在惩罚项的不同：
- **L2范数**：更倾向于让模型参数均匀地接近0，但不会强制某些参数精确为0。
- **L1范数**：鼓励部分参数为0，从而实现特征选择。
线性回归、Ridge回归以及Lasso回归各有特点，在不同场景下有着广泛的应用。理解这些模型的基本原理及其优缺点，有助于我们在实际问题中做出合理的选择。
