多核SVM_SVM分类python_多核SVM__多核svm,pythonsvm多分类资源-CSDN文库

共1个文件

py：1个

5星 · 超过95%的资源 178 浏览量 2021-10-03 05:21:42 上传评论 6 收藏 3KB ZIP 举报

**正文** 支持向量机（Support Vector Machine，简称SVM）是一种广泛应用的监督学习模型，尤其在二分类问题上表现出色。多核SVM是SVM的一种扩展，它通过引入核函数来处理非线性可分的问题。在Python中，我们可以使用Scikit-learn库来实现自定义的多核SVM分类器。以下将详细讲解多核SVM的基本原理、Python实现及其应用。 1. **SVM基本原理** SVM的核心思想是找到一个最优超平面，使得两类样本之间的间隔最大化。当数据集是非线性可分时，SVM引入核函数，将数据从原始空间映射到高维特征空间，使原本难以分离的数据变得容易区分。常用的核函数有线性核、多项式核、高斯核（RBF）等。 2. **多核SVM** 多核SVM是利用多个不同的核函数进行分类的策略。不同的核函数对应不同的决策边界，组合使用可以提高模型的泛化能力和适应性。例如，可以同时使用线性核和高斯核，以兼顾线性和非线性模式。 3. **Python实现** 在Python中，Scikit-learn库提供了丰富的SVM接口。要实现多核SVM，我们需要自定义核函数或者组合已有的核函数。以下是一个简单的例子： ```python from sklearn.svm import SVC from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score # 加载数据 iris = load_iris() X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.3, random_state=42) # 定义多核函数，这里以线性核和高斯核为例 def custom_kernel(X, Y): linear_kernel = np.dot(X, Y.T) rbf_kernel = np.exp(-0.5 * ((X[:, None, :] - Y[:, :, None]) ** 2).sum(axis=-1)) return 0.5 * linear_kernel + 0.5 * rbf_kernel # 创建SVM分类器，设置自定义核函数 clf = SVC(kernel=custom_kernel) # 训练模型 clf.fit(X_train, y_train) # 预测并计算准确率 y_pred = clf.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print("Accuracy:", accuracy) ``` 4. **参数调优** SVM中的参数如C（惩罚系数）和γ（高斯核的宽度）对模型性能有很大影响。可以通过交叉验证和网格搜索（GridSearchCV）来找到最佳参数组合。 5. **应用与注意事项** 多核SVM广泛应用于文本分类、图像识别、生物信息学等领域。然而，多核SVM可能会增加计算复杂度和过拟合风险，因此在实际应用中需谨慎选择核函数和参数，并注意模型的训练和验证。总结，多核SVM结合了不同核函数的优势，能够更好地处理复杂的分类任务。通过Python的Scikit-learn库，我们可以方便地实现自定义多核SVM，实现对各种类型数据的高效分类。但同时，正确选择和调整核函数及参数是确保模型性能的关键。

资源详情

资源评论

资源推荐

收起资源包目录

多核SVM.zip （1个子文件）

多核SVM.py 5KB

# -*- coding: utf-8 -*- """ Created on Mon Mar 23 18:28:27 2020 @author: 邓博宇DBY """ import math import pandas as pd from sklearn.linear_model import LassoCV from sklearn.feature_selection import SelectFromModel from sklearn import preprocessing import numpy as np import matplotlib.pyplot as plt from sklearn import svm from sklearn.model_selection import train_test_split import itertools import datetime from sklearn.model_selection import cross_val_score "定义核函数" "np.linalg.norm(求范数)" "范数的定义 eg向量x=[2,4,8]T(转至)的范数为:||x||=根号(2*2+4*4+8*8)=9.165" "math.exp(1)返回e的一次方" def rbf(gamma=1.0): def rbf_fun(x1,x2): return math.exp((np.linalg.norm(x1-x2))*(-1.0*gamma)) return rbf_fun "x2.transpose()是对矩阵的转置" def lin(offset=0): def lin_fun(x1,x2): return x1.dot(x2.transpose())+offset return lin_fun "pow(x1.dot(x2.transpose())+offset,power)指的是对得到x1.dot(x2.transpose())+offset的power次方" def poly(power=2,offset=0): def poly_fun(x1,x2): return pow(x1.dot(x2.transpose())+offset,power) return poly_fun def sig(alpha=1.0,offset=0): def sig_fun(x1,x2): return math.tanh(alpha*1.0*x1.dot(x2.transpose())+offset) return sig_fun "根据输入X的大小构造核矩阵" def kernel_matrix(x,kernel): mat=np.zeros((x.shape[0],x.shape[0])) for a in range(x.shape[0]): for b in range(x.shape[0]): mat[a][b]=kernel(x[a],x[b]) return mat ".trace()得到矩阵的迹eg a=[[a11,a12],[a21,a22]] a的迹就是a11+a22的值" "f_dot函数最后得到一个值" def f_dot(kernel_mat1,kernel_mat2): return (kernel_mat1.dot(kernel_mat2.transpose())).trace() def A(kernel_mat1,kernel_mat2): return (f_dot(kernel_mat1,kernel_mat2))/(math.sqrt(f_dot(kernel_mat1,kernel_mat1)*f_dot(kernel_mat2,kernel_mat2))) ''' 求betas 1.形成一个y行y列的矩阵yyT,由y*yT得到 2.通过kernel_matrix,得到对X数据进行核函数的映射后的矩阵，和X的行数列数相同，设为data 3.通过f_dot函数,将data和y相乘，返回相乘得到的矩阵f_mat,再返回矩阵的迹，记为J 4.通过A函数将f_mat和yyT相乘得到的迹，再除以根号下(f_mat*f_matT)*(yyT*yyTT)得到的矩阵的迹 5.将不同核函数在第四步得到的值相加，得到deno值 6.得到使用不同核函数情况下的betas值，通过A函数将f_mat和yyT相乘得到的迹，再除以根号下 (f_mat*f_matT)*(yyT*yyTT)得到的矩阵的迹，最后除以deno 就的到每个核函数的betas值了 betas值是每个核函数的比重 ''' def beta_finder(x,y,kernel_list): y=np.matrix(y) yyT=y.dot(y.transpose()) deno=sum([A(kernel_matrix(x,kernel),yyT) for kernel in kernel_list]) betas=[A(kernel_matrix(x,kernel),yyT)/deno for kernel in kernel_list] print (betas) return betas "产生multi核" ''' 1.得到betas 2.生成矩阵XxY维的矩阵 3.得到不同核函数对X数据映射后的数据data，再乘以该核函数对应的beta值（比重），再 4.将上述得到的矩阵相加得到最融合的矩阵 ''' def multi_kernel_maker(x,y,kernel_list): betas=[float(b) for b in beta_finder(x,y,kernel_list)] #print " ",betas def multi_kernal(x1,x2): mat=np.zeros((x1.shape[0],x2.shape[0])) for a in range(x1.shape[0]): for b in range(x2.shape[0]): mat[a][b]=sum([betas[i]*kernel(x1[a],x2[b]) for i,kernel in enumerate(kernel_list)]) return mat return multi_kernal "制造多核" #kernels = [lin(),lin(2),poly(),poly(3),poly(4),rbf(),rbf(1.5),sig(),sig(1.5)] kernels = [lin(),poly(),rbf(),sig(),rbf(10)] kernel_numbers=1 multi_kernels = [mult for mult in itertools.combinations(kernels, kernel_numbers)]#itertools.combinations迭代器eg。(combinations('ABC', 2))得到[('A', 'B'), ('A', 'C'), ('B', 'C')] print(multi_kernels) "训练模型" def mk_train(x_train,y_train,multi_kernels): y=[[t] for t in y_train[:]] # y=[[t] for t in y_train[:,i]] for k_list in multi_kernels: mk_train_start_time=datetime.datetime.now() multi_kernel=multi_kernel_maker(x_train,y,k_list) print(k_list,'multi kernel maked! !') clf=svm.SVC(kernel=multi_kernel) results=cross_val_score(clf,x_train, y_train, scoring='accuracy',cv=10) print(results.mean()) mk_train_end_time=datetime.datetime.now() print('mk_train_time:',(mk_train_end_time-mk_train_start_time).seconds,'seconds') "导入数据" file_path=r'C:\\Users\\DengBY\\Desktop\\神经网络vgg用图及数据\\A.csv' f = open(file_path) data = pd.read_csv(f) a=pd.DataFrame(data) X=a.values[:,1:512] y=a.values[:,513] min_max_scaler = preprocessing.MinMaxScaler()#范围0-1缩放标准化 X=min_max_scaler.fit_transform(X) #"基于Lasso的特征选择" lsvc=LassoCV().fit(X, y) model = SelectFromModel(lsvc, prefit=True) X_lsvc = model.transform(X) df_X_lsvc=pd.DataFrame(X_lsvc) y=pd.DataFrame(y) b=df_X_lsvc objs=[b,y] "features select 后的数据" data=pd.concat(objs, axis=1, join='outer', join_axes=None, ignore_index=False, keys=None, levels=None, names=None, verify_integrity=False) data=data.sample(frac=1) X=data.values[:,:7] y=data.values[:,8] X_train,X_test,y_train,y_test=train_test_split(X,y,random_state=200) print('model training starting') mk_train(X_train,y_train,multi_kernels) print('model training finishing') #保存日志 #import sys #f_handler=open('out.log', 'w') #sys.stdout=f_handler