Lecture 5 习题作业
李星毅 U201712072 自实 1701
1,讨论 OVA 和 OVO 多类分类器算法的各自特点。
解:显然,OVA 和 OVO 都是将之前学过的二分类算法推广应用到多
分类问题的策略。
(1)OVA 多类分类器
a) 优点:在需要训练的二分类器的个数上看,OVA 比 OVO 效率
高,例如对于 k 分类,只需训练 k 个二分类器,但对于 OVA,
则需要 个二分类器;每一个二分类问题可以使用 PLA、线
性回归、Logisitc 回归等二分类算法进行分类,其中,基于概
率的 Logisitc 回归的效果比 PLA、线性回归的效果更好,因此
一般使用类似 Logisitc 回归的算法作为 OVA 二分类器;OVA
策略还可用于解决多标签分类问题。
b) 缺点:当类别数比较大的时候,容易出现数据不均衡现象,这
将造成分类器具有偏见,分类效果不佳。一个值得一提的
workaround 是提升数量少的样本的权重,减小数量大的样本的
权重,这样可以缓解数据不均衡导致的问题。
(2)OVO 多类分类器
a) 优点:在训练一个二分类器时所使用的样本个数上看,OVO
比 OVA 效率可能更高,原因在于 OVO 每次只考虑两个类别
的样本,而 OVA 每次都考虑所有的训练样本;比较稳定,不
易出现数据不均衡现象,分类结果更准确;每一个二分类问题