Lecture 11 作业
李星毅 U201712072 自实 1701
1. 概率神经网络(PNN)的缺陷
个人认为,概率神经网络(PNN)的缺陷在于归一化,每个样本被归一化后范数为 1,这
是为了简化后面的计算,这样做无可厚非。但是问题在于,如算法所述那样做归一化,会
使得在特征空间中位于同一个超平面上的样本无法区分。例如:
对这两个样本进行归一化以后可以得到:
这里可以看到,归一化后无法区分这两个样本。
2. 可行的改进方法
(1) 通常采用的归一化方法是 Min-Max Normalization,即 或
,将数据的每一维特征进行归一化,映射到 或
范围内。通过实验验证,这里建议应该映射到 范围内。
(2) 或者可以采用 Z-Score Standardization 标准化,即 (其中 表示每一维
特征的均值, 表示每一维特征的标准差),将数据的每一维特征进行标准化。
评论0
最新资源