模式识别讲义-2

### 模式识别讲义-2：线性分类器知识点详解 #### 一、判别函数 ##### 1. 决策论方法 在模式识别领域中，**决策论方法**是一种常用的方法，它通过利用模式的特征信息，并依据一定的数量规则来进行分类决策。这种方法的核心思想在于将特征空间划分为不同的区域，每个区域对应着一个特定的模式类别，这种区域被称为**决策区域**。一旦确定了某个待识别模式所属的决策区域，即可将其归类至对应的类别之中。 值得注意的是，决策区域包含了模式类别中样本的分布范围，但这并不意味着决策区域等同于模式类的真实分布范围。换句话说，决策区域可能覆盖了模式类的实际分布区域，也可能超出或不完全覆盖实际分布范围。 ##### 2. 判别函数 判别函数是决策论方法中用于确定模式分类的关键工具。如果特征空间中的决策区域边界可以通过一组方程表示，那么这些方程中的函数即为判别函数。具体而言，当我们将模式对应的特征向量\( x \)代入判别函数\( G(x) \)，通过判断其值的正负来决定模式所属的类别。 - **线性判别函数**：当决策区域边界可以用线性方程来表达时，这类判别函数被称为线性判别函数。线性判别函数的决策过程相对简单直观，通常用于解决线性可分问题。 - **非线性判别函数**：对于复杂的决策边界，需要采用非线性判别函数进行分类。这类函数的形状多样，可以适应更复杂的模式分布情况。 例如，在非线性判别函数的情况下，如果\( G(x) > 0 \)，则可以判断模式\( x \)属于类别\( \omega_1 \)；如果\( G(x) < 0 \)，则可以判断\( x \)属于类别\( \omega_2 \)。 ##### 3. 线性可分性与广义线性判别函数 一个模式识别问题是否**线性可分**，取决于是否存在一个能够分离不同类别模式的超平面。线性不可分的情况通常包括以下几种： - **类别分布范围是凹的**：如果一个类别的分布范围是凹的，且其凸包与另一个类别的分布范围重叠，那么这个问题就是线性不可分的。 - **类别分布范围不连通**：如果一个类别的分布范围由多个不连通的区域组成，这也是线性不可分的一种典型情况，比如著名的**异或(XOR)问题**。 对于某些线性不可分问题，可以通过将它们映射到更高维度的空间中来转化为线性可分问题。例如，一维特征空间中的线性不可分问题可以通过引入新的特征映射到更高维度的空间中，从而使问题变得线性可分。这种情况下使用的判别函数被称为**广义线性判别函数**。 #### 二、线性分类器 ##### 1. 两类问题 对于两类线性可分的问题，判别函数可以表示为线性形式。假设我们有两个类别\( \omega_1 \)和\( \omega_2 \)，且这两类线性可分，判别函数可以写作： \[ G(x) = w_1x_1 + w_2x_2 + \cdots + w_nx_n + w_0 \] 其中，\( x = (x_1, x_2, \ldots, x_n)^T \)是模式对应的特征向量，\( w = (w_1, w_2, \ldots, w_n)^T \)是权重向量，\( w_0 \)是偏置项。对于任意模式\( x \)，如果\( G(x) > 0 \)，则判断\( x \)属于类别\( \omega_1 \)；如果\( G(x) < 0 \)，则判断\( x \)属于类别\( \omega_2 \)。 线性分类器通过使用线性判别函数来进行模式分类，适用于处理线性可分问题。而对于非线性问题，可以通过特征映射的方法将其转化为线性可分问题，从而利用线性分类器进行有效分类。