基于 WEKA 的数据挖掘算法学习(五)
1. 集成学习的理论知识
1.1 个体与集成
集成学习通过构建并结合多个学习器来完成学习任务,也成为多分类器系统。一般结构:
产生一组“个体学习器”,再用策略将其结合起来。个体集成器通常由现有的学习算法从训练
集产生,BP 神经网络、C4.5 等等。
图 1 集成学习示意图
由集成学习示意图可以清楚展示集成学习之间的关系,将多个学习器结合,通常可获得
比单一学习器显著优越的泛化性能。
要获得比单一学习器更好的性能,获得好的集成,应该满足个体学习器“好而不同”。
图 2 集成个体应好而不同示意图
很明显,由图 2 知道,集成效果是第一幅图实例,即个体好而不同,集成效果更好。
目前两类集成学习方法:1、个体学习器存在强依赖关系,必须串行生成的序列化方法;
2、个体学习器间不存在强依赖关系,可同时化生成的并行化方法。
评论0