在如下图所示的二分类问题里,我们在训练分类器时就是希望找到一个最优的超平面。直观来讲,我
们希望找到如图所示的一个通道(Margin)能够区分正负样本,最大化其宽度,取其中间线为超平面。
直观来说,这样得到的超平面更具有泛化能力。
图 1
我们准备讨论的 SVM 就是采用的这个思想:寻找一个分类器,使其有最大化的 Margin。
SVM 的优化问题
令训练集中的数据为,即有 N 个数据,每个数据的输入 x 的维度为 d,且所要分类的目标值用 1 和-1
表示。
那么超平面可以表示为,w 为权重,b 为 bias 或叫位移项。