机器学习之多分类学习

一、问题描述

       现实中常遇到多分类学习任务，有些二分类学习方法可直接推广到多分类，但在更多情况下，我们是基于一些基本策略，利用二分类学习器来解决多分类问题。

假设有N个类别C₁，C₂,......，C_N，多分类学习的基本思路是“拆解法”，即将多分类任务拆分为若干个二分类任务求解。具体来说，先对问题进行拆分，然后为拆出

的每个二分类任务训练一个分类器。在测试的时候，对这些分类器的预测结果进行集成以获得最终的多分类结果。因此，如何对多分类任务进行拆分是关键。这里

主演介绍三种经典的拆分策略：一对一（One vs One，简称OvO），一对其余（One vs Rest,简称OvR），多对多（Mnay vs Many，简称MvM）。

二、拆分策略

      给定数据集D={(x₁,y₁),(x₂,y₂),......,(x_m,y_m)}，y_i属于{C₁，C₂,......，C_N}

1、OvO策略

     OvO将N个类别两两配对，从而产生N(N-1)/2个二分类任务，例如OvO将为区分类别C_i，C_j训练一个分类器，该分类器把D中的C_i类样例作为正例，C_j类样例作为反

例。在测试阶段，新样本将同时提交给所有分类器，于是我们将得到N(N-1)/2个分类结果，最终结果可以通过投票产生。示例图如图1所示。

2、OvR策略

    OvR则是每次将一个类的样例作为正例，所有其他类的样例作为反例来训练N个分类器，在测试时若仅有一个分类器预测为正类，则对应的类别标记作为最终分类结

果，示例图如图1所示。

                                                                  图1，OvO和OvR示意图

3、MvM策略

       MvM则是每次将若干个类作为正类，若干个其它类作为反类。显然OvO和OvR是她的特例。显然MvM的正、反类构造必须有特殊的设计，不能随意选取。这里介绍一种

最常用的MvM技术：纠错输出码（ECOC）。

ECOC是将编码的思想引入类别拆分，并尽可能在解码的过程中具有容错性。ECOC工作过程主要分为两步：

（1）编码：对N个类别做M次划分，每次划分将一部分类别划为正类，一部分划为反类，从而形成一个二分类训练集，这样一共产生M个训练集，可训练出M个训练器。

（2）解码：M个分类器分别对测试样本进行预测，这些预测标记组成一个编码。将这个与此编码与每个类别各自的编码进行比较，返回其中距离最小的类别最为最终预测结果。