KNN

核心思想：一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这类别上样本的特性。KNN算法的结果很大程度上取决于K的选择。 算法的三要素：1，K值得选择；2，距离度量的方式；3，分类决策规则 K值的选择：没有一个固定的经验，一般根据样本的分布，选择一个较小的值，可以通过交叉验证选择一个合适的K值。选择较小的K值：就相当于用较小的领域中的训练实例进行预测，训练误差会减小，容易发生过拟合。选择较大的K值，就相当于用较大领域中的训练实例进行预测，其优点是可以减小泛化误差，但缺点是训练误差会增大。 度量方式：一般选择欧氏距离 分类决策规则：分类：多数表决法；