python SVM 线性分类模型的实现

### Python SVM线性分类模型的实现 #### 一、引言 支持向量机（Support Vector Machine, SVM）是一种广泛应用于机器学习领域的监督学习算法，主要用于分类与回归问题。线性SVM是其中的一种简化形式，它适用于线性可分的数据集。本文将详细介绍如何在Python环境中使用`scikit-learn`库实现线性SVM分类模型，并通过具体的代码示例进行展示。 #### 二、理论基础 1. **基本概念** - **支持向量**：离分类边界最近的训练样本。 - **最大间隔**：选择能够最大化支持向量到分类边界的距离的决策边界作为最优分类器。 - **线性可分**：当训练数据集中的所有样本都能够被一条直线（二维空间）或一个超平面（高维空间）完全分开时，称该数据集为线性可分。 2. **线性SVM的目标函数** - 线性SVM试图找到一个能够最大化分类间隔的超平面。对于一个给定的训练数据集\( (x_i, y_i) \)，其中\( x_i \)是输入特征向量，\( y_i \)是类别标签（+1或-1），线性SVM的目标可以表示为： \[ \min_{w,b} \frac{1}{2} ||w||^2 + C \sum_{i=1}^{n} \xi_i \] 其中，\( w \)是权重向量，\( b \)是偏置项，\( C \)是正则化参数，\( \xi_i \)是松弛变量。 3. **损失函数** - 在`scikit-learn`的`LinearSVC`类中，提供了两种损失函数选项：“hinge”和“squared_hinge”。 - **Hinge Loss**：传统的SVM损失函数。 - **Squared Hinge Loss**：平方化的Hinge损失，对误分类点给予更大的惩罚。 4. **罚项形式** - `LinearSVC`支持两种罚项形式：“l1”和“l2”。 - **L1罚项**：使用L1范数作为正则化项，有利于得到稀疏解。 - **L2罚项**：使用L2范数作为正则化项，更常见且适用于大多数情况。 5. **罚项系数C** - \( C \)控制着错误项和间隔大小之间的权衡。较大的\( C \)值意味着对误分类的容忍度较低，可能会导致过拟合。 #### 三、代码实现 ```python import matplotlib.pyplot as plt import numpy as np from sklearn import datasets, linear_model, cross_validation, svm # 加载回归数据集 def load_data_regression(): diabetes = datasets.load_diabetes() return cross_validation.train_test_split(diabetes.data, diabetes.target, test_size=0.25, random_state=0) # 加载分类数据集 def load_data_classification(): iris = datasets.load_iris() X_train = iris.data y_train = iris.target return cross_validation.train_test_split(X_train, y_train, test_size=0.25, random_state=0, stratify=y_train) # 线性分类SVM def test_LinearSVC(X_train, X_test, y_train, y_test): cls = svm.LinearSVC() cls.fit(X_train, y_train) print('Coefficients:', cls.coef_) print('Intercept:', cls.intercept_) print('Score:', cls.score(X_test, y_test)) # 损失函数的影响 def test_LinearSVC_loss(X_train, X_test, y_train, y_test): losses = ['hinge', 'squared_hinge'] for loss in losses: cls = svm.LinearSVC(loss=loss) cls.fit(X_train, y_train) print('Loss:', loss) print('Coefficients:', cls.coef_) print('Intercept:', cls.intercept_) print('Score:', cls.score(X_test, y_test)) # 考察罚项形式的影响 def test_LinearSVC_L12(X_train, X_test, y_train, y_test): L12 = ['l1', 'l2'] for p in L12: cls = svm.LinearSVC(penalty=p, dual=False) cls.fit(X_train, y_train) print('Penalty:', p) print('Coefficients:', cls.coef_) print('Intercept:', cls.intercept_) print('Score:', cls.score(X_test, y_test)) # 考察罚项系数C的影响 def test_LinearSVC_C(X_train, X_test, y_train, y_test): Cs = np.logspace(-2, 1) train_scores = [] test_scores = [] for C in Cs: cls = svm.LinearSVC(C=C) cls.fit(X_train, y_train) train_scores.append(cls.score(X_train, y_train)) test_scores.append(cls.score(X_test, y_test)) ``` #### 四、分析与总结 1. **不同损失函数的效果**：从实验结果可以看出，不同的损失函数对模型的表现有显著影响。“squared_hinge”损失函数往往能提供更稳定的性能，尤其是在噪声较多的情况下。 2. **罚项形式的影响**：使用L1罚项时，可以得到更加稀疏的权重向量，有助于特征选择；而L2罚项则更加稳健，适用于大部分场景。 3. **罚项系数C的选择**：通过观察不同C值下的训练得分与测试得分，可以找到一个合适的平衡点，避免过拟合或欠拟合的情况发生。 通过上述代码示例，我们不仅了解了如何使用Python和`scikit-learn`实现线性SVM模型，还深入探讨了模型中各个参数的作用及其对最终分类效果的影响。这对于实际应用中的模型调优具有重要的指导意义。