概率神经网络在线分类器
概率神经网络（PNN）是 Specht 提出的一个神经网络模型，由于其训练效率高和统计基础，已经被广泛应用于各个领域。然而，PNN 存在一些缺陷，例如使用 Parzen 窗口估计概率密度函数（PDF），这导致整个训练数据需要存储在模式层中，增加了存储负担。另外，原始 PNN 只使用一个全局平滑参数，无法准确地表示复杂数据集中的局部信息。
为了解决这些问题，本文提出了一种新的在线学习概率神经网络（OL-PNN）。OL-PNN 应用随机梯度上升方法实时更新参数，并采用高斯聚类将训练数据分类为由混合高斯模型表示的若干簇。在高斯核函数中，每个维度都有各自的平滑参数和中心参数，从而可以减弱由于数据的不均匀分布引起的失真。此外，为了提高学习和表达能力，补偿由聚类算法引起的偏差，神经网络模型添加了一个额外的线性特征层。
OL-PNN 模型具有以下几个优点：
1. 实时更新参数：OL-PNN 使用随机梯度上升方法实时更新参数，可以快速地适应新的数据和变化的环境。
2. 高斯聚类：OL-PNN 采用高斯聚类将训练数据分类为由混合高斯模型表示的若干簇，从而可以捕捉到数据中的局部信息。
3. 自适应平滑参数：每个维度在高斯核函数中都有各自的平滑参数和中心参数，可以减弱由于数据的不均匀分布引起的失真。
4. 额外的线性特征层：神经网络模型添加了一个额外的线性特征层，可以提高学习和表达能力，补偿由聚类算法引起的偏差。
实验结果表明，OL-PNN 模型明显优于原始 PNN，并且与很多流行分类器相当。因此，OL-PNN 模型可以广泛应用于各个领域，如图像分类、文本分类、Speech recognition 等。
知识点：
1. 概率神经网络（PNN）：一个神经网络模型，由 Specht 提出，已经被广泛应用于各个领域。
2. 在线学习概率神经网络（OL-PNN）：一种新的神经网络模型，应用随机梯度上升方法实时更新参数，并采用高斯聚类将训练数据分类为由混合高斯模型表示的若干簇。
3. 高斯聚类：一种聚类算法，用于将训练数据分类为由混合高斯模型表示的若干簇。
4. 高斯核函数：一种核函数，用于高斯聚类，每个维度都有各自的平滑参数和中心参数。
5. 随机梯度上升方法：一种优化算法，用于实时更新参数。
6. 线性特征层：一种神经网络模型，用于提高学习和表达能力，补偿由聚类算法引起的偏差。
