少数类的集成学习 (2009年)

传统机器学习中研究的分类问题通常假定各类别是平衡的，但在很多场合各类别的出现概率相差很大，而且很多应用中需要区分重要而稀少的少数类。本文比较了3种基于AdaBoost集成学习方法，并推导出他们的精度几何平均(GMA)的下界。分析表明：类别越不平衡，这3种方法越难以通过提高基分类器准确率来提高GMA。在此结论的基础上，以Bagging为基础提出了单边Bagging算法，该算法只对多数类抽样，而保留所有少数类，因而每轮的训练集是类别平衡的，并通过UCl数据集验证了其有效性。