拓端tecdat：Python集成学习：自己编写构建AdaBoost分类模型可视化决策边界及sklearn包调用比较

原文链接：http://tecdat.cn/?p=24421 

原文出处：拓端数据部落公众号

AdaBoost是？

Boosting指的是机器学习元算法系列，它将许多 "弱 "分类器的输出合并成一个强大的 "集合"，其中每个弱分类器单独的错误率可能只比随机猜测好一点。

AdaBoost这个名字代表了自适应提升，它指的是一种特殊的提升算法，在这种算法中，我们适合一连串的 "树桩"（有一个节点和两个叶子的决策树），并根据它们预测的准确程度对它们的最终投票进行加权。在每个迭代之后，我们对数据集进行重新加权，对那些被前一个弱学习者错误分类的数据点给予更大的重视，这样，这些数据点在迭代t+1期间就会得到 "特别关注"。
 

它与随机森林相比如何？

特点	随机森林	AdaBoost
深度	无限（一棵完整的树）	树桩（带有 2 个叶子的单个节点）
树木生长	独立	依次
投票	相同	加权

AdaBoost 算法

A) 统一初始化样本权重为 .

B) 对于每次迭代 t：

1. 找到ht(x) 最小化的弱学习 器 .
2. 我们根据其准确性为弱学习器设置权重： 
3. 增加错误分类观察的权重： .
4. 重新归一化权重，使得 .

C）将最终预测作为弱学习器预测的加权多数票： .

绘图

我们将使用下面的函数来可视化我们的数据点，并可选择覆盖拟合 AdaBoost 模型的决策边界。

1.  
    
2.  
   def plot(X: np.ndaay,
3.  
   y: np.ndrry,
4.  
   cf=None) -> None:
5.  
   """ 绘制2D的±个样本，可选择决策边界 """
6.  
    
7.  
    
8.  
   if not ax:
9.  
   fig, ax = plt.sults(fgsze=(5, 5), di=100)
10.  
     
11.  
    pad = 1
12.  
    x_min, x_max = X[:, 0].min() - pad, X[:, 0].max() + pad
13.  
    y_min, y_max = X[:, 1].min() - pad, X[:, 1].max() + pad
14.  
     
15.  
    if saligs is not None:
16.  
    sies = np.array(spl_wigts) * X.hae[0] * 100
17.  
    else:
18.  
    sze = np.oes(sape=X.shpe[0]) * 100
19.  
     
20.  
     
21.  
     
22.  
    if cf:
23.  
    xx, yy = np.ehrid(n.aange(x_min, x_max, plot_step),
24.  
    p.aang(y_min, y_max, plot_step))
25.  
     
26.  
    pdt(np.c_[xx.ravel(), yy.ravel()])
27.  
     
28.  
     
29.  
    # 如果所有的预测都是正类，则相应地调整颜色图。
30.  
    if list(np.niue(Z)) == [1]:
31.  
    colors = ['r']
32.  
    else:
33.  
    colors = ['b', 'r']
34.  
     
35.  
     
36.  
     
37.  
     
38.  
    ax.st_im(in+0.5, _ax-0.5)
39.  
    ax.st_lm(ymin+0.5, yax-0.5)

数据集

我们将使用类似的方法生成一个数据集  ，但使用较少的数据点。这里的关键是我们想要两个不可线性分离的类，因为这是 AdaBoost 的理想用例。

1.  
    
2.  
   def maketat(n: it = 100, rased: it = None):
3.  
   """ 生成一个用于评估AdaBoost分类器的数据集 """
4.  
    
5.  
   nclas = int(n/2)
6.  
    
7.  
   if ranmed:
8.  
   np.ram.sed(rndoed)
9.  
    
10.  
    X, y = me_gainqnes(n=n, n_fees=2, n_css=2)
11.  
     
12.  
     
13.  
    plot(X, y)

​

使用 scikit-learn 进行基准测试

让我们通过从scikit-learn导入AdaBoostClassifier，并将其拟合到我们的数据集上，来建立一个基准，看看我们的模型的输出应该是什么样子的。

1.  
   from skarn.esele import AdosClaser
2.  
    
3.  
   bnh = Adostlier(netrs=10, atm='SAMME').fit(X, y)
4.  
   plat(X, y, bech)
5.  
    
6.  
   tnr = (prdict(X) != y).man()

​

分类器在 10 次迭代中完全拟合训练数据集，我们数据集中的数据点被合理分离。

编写自己的AdaBoost分类器

下面是我们的AdaBoost分类器的框架代码。拟合模型后，我们将把所有的关键属性保存到类中--包括每次迭代的样本权重--这样我们就可以在以后检查它们，以了解我们的算法在每一步的作用。

下表显示了我们将使用的变量名称和前面在算法描述中使用的数学符号之间的映射。

变量	数学
sampleweight	wi(t)
stump	ht(x)
stumpweight	αt
error	εt
predict(X)	Ht(x)

1.  
   class AdBst:
2.  
   """ AdaBoost分类器 """
3.  
    
4.  
   def __init__(self):
5.  
   self.sump = None
6.  
   self.stup_weght = None
7.  
   self.erro = None
8.  
   self.smle_weih = None
9.  
    
10.  
    def _ceck_X_y(self, X, y):
11.  
    """ 验证关于输入数据格式的假设"""
12.  
    assrt st(y) == {-1, 1}
13.  
    reurn X, y

拟合模型

回想一下我们的算法来拟合模型：

1. 找到ht(x) 最小化的弱学习 器 ​.
2. 我们根据其准确性为弱学习器设置权重： ​
3. 增加错误分类观察的权重： ​. 注意 ​当假设与标签一致时将评估为 +1，当它与标签不一致时将评估为 -1。
4. 重新归一化权重，使得 ​.

下面的代码本质上是上面的一对一的实现，但是有几点需要注意：

• 由于这里的重点是理解AdaBoost的集合元素，我们将调用DecinTeassfir(mxdpth=1, mlefnes=2)实现挑选每个ht(x)的逻辑。
• 我们在 for 循环之外设置初始统一样本权重，并在每次迭代 t 内设置 t+1 的权重，除非它是最后一次迭代。我们在这里特意在拟合模型上保存一组样本权重，以便我们以后可以在每次迭代时可视化样本权重。

1.  
    
2.  
   def ft(slf, X: narry, y: ndray, ites: int):
3.  
   """ 使用训练数据拟合模型 """
4.  
    
5.  
   X, y = slf._chck_X_y(X, y)
6.  
   n = X.shpe[0]
7.  
    
8.  
   # 启动Numpy数组
9.  
   self.smle_wegts = np.zos(shpe=(itrs, n))
10.  
    self.tumps = np.zeos(she=iters, dtpe=obect)
11.  
     
12.  
     
13.  
    # 均匀地初始化权重
14.  
    sef.sampewegts[0] = np.one(shpe=n) / n
15.  
     
16.  
    for t in range(iters):
17.  
    # 拟合弱学习器
18.  
    fit(X, y, smpe_eght=urrsmle_igts)
19.  
     
20.  
    # 从弱学习者的预测中计算出误差和树桩权重
21.  
    predict(X)
22.  
    err = cu_seghts[(pred != y)].sum()# / n
23.  
    weiht = np.log((1 - err) / err) / 2
24.  
     
25.  
    # 更新样本权重
26.  
    newweis = (
27.  
    crrawe * np.exp(-sum_wiht * y * tupd)
28.  
    )
29.  
     
30.  
     
31.  
    # 如果不是最终迭代，则更新t+1的样本权重
32.  
    if t+1 < ies:
33.  
    sef.smpe_wit[t+1] = ne_saml_wigt
34.  
     
35.  
    # 保存迭代的结果
36.  
    sef.sups[t] = tump
37.  
     

做出预测

我们通过采取“加权多数投票”来做出最终预测，计算为每个树桩的预测及其相应树桩权重的线性组合的符号 (±)。

​

1.  
   def pedc(self, X):
2.  
   """ 使用已经拟合的模型进行预测 """
3.  
   supds = np.aray([stp.pect(X) for sump in slf.stps])
4.  
   return np.sgn(np.dt(self.tum_whts, sumpreds))

表现

现在让我们把所有东西放在一起，用与我们的基准测试相同的参数来拟合模型。

1.  
   # 将我们单独定义的函数指定为分类器的方法
2.  
   AaBt.fit = fit
3.  
   Adostreit = pedct
4.  
    
5.  
   plot(X, y, clf)
6.  
    
7.  
   err = (clf.prdc(X) != y).mean()
8.  
    

​

不错! 我们取得了与sklearn基准完全相同的结果。我挑选了这个数据集来展示AdaBoost的优势，但你可以自己运行这个笔记本，看看它是否与输出结果相匹配，无论起始条件如何。

可视化

由于我们把所有的中间变量作为数组保存在我们的拟合模型中，我们可以使用下面的函数来可视化我们的集合学习器在每个迭代t的演变过程。

• 左栏显示了所选择的 "树桩 "弱学习器，它与ht(x)相对应。
• 右边一栏显示了到目前为止的累积强学习器。 Ht(x)。
• 数据点标记的大小反映了它们的相对权重。在上一次迭代中被错误分类的数据点将被更多地加权，因此在下一次迭代中显得更大。

1.  
   def truost(clf, t: int):
2.  
   """ AdaBoost的拟合，直到（并包括）某个特定的迭代。 """
3.  
    
4.  
   nwwghts = clf.suweighs[:t]
5.  
    
6.  
    
7.  
   def plotost(X, y, clf, iters=10):
8.  
   """ 在每个迭代中绘制出弱学习者和累积强学习者。 """
9.  
    
10.  
    # 更大的网格
11.  
    fig, axs = subplos(fisze=(8,ters*3),
12.  
    nrows=iers,
13.  
    ncls=2,
14.  
    shaex=True,
15.  
    dpi=100)
16.  
     
17.  
     
18.  
     
19.  
    # 绘制弱学习者
20.  
    plotot(X, y, cf.[i],
21.  
    saplweghs=clf.saple_wigts[i],
22.  
    aoat=False, a=ax1)
23.  
     
24.  
    #绘制强学习者
25.  
    truost(clf, t=i + 1)
26.  
    pltot(X, y, tun_cf,
27.  
    weights=smplweih[i], ax=ax2)
28.  
     
29.  
    plt.t_aot()
30.  
     

​

为什么有些迭代没有决策边界？

您可能会注意到，我们的弱学习器在迭代 t=2,5,7,10 时将所有点归类为正。发生这种情况是因为给定当前样本权重，只需将所有数据点预测为正值即可实现最低误差。请注意，在上面这些迭代的每个图中，负样本被按比例更高权重的正样本包围。

没有办法画出一个线性决策边界来正确分类任何数量的负面数据点，而不对正面样本的更高累积权重进行错误分类。不过这并不能阻止我们的算法收敛。所有的负数点都被错误分类，因此样本权重增加。这种权重的更新使得下一次迭代的弱学习者能够发现一个有意义的决策边界。

为什么我们对 alpha_t 使用那个特定的公式？

为什么我们使用这个特定的值 αt？我们可以证明选择 ​ 最小化在训练集上的指数损失 ​ 。

忽略符号函数，我们H 在迭代时 的强学习器 t 是弱学习器的加权组合 h(x)。在任何给定的迭代中 t，我们可以Ht(x) 递归地将其定义 为迭代时的值 t−1 加上当前迭代的加权弱学习器。

​

我们应用于 H 的损失函数是所有 n 个数据点的平均损失。可以替代 的递归定义 Ht(x)，并使用恒等式分割指数项 ​.

​

现在我们取损失函数关于 的导数 αt 并将其设置为零以找到最小化损失函数的参数值。可以将总和分为两个：case where ht(xi)=yi 和 case where  ht(xi)≠yi。

​

最后，我们认识到权重之和等同于我们前面讨论的误差计算：∑Dt(i)=ϵt。进行置换，然后进行代数操作，我们就可以分离出αt。
 

​

进一步阅读

• sklearn.ensemble.AdaBoostClassifier – 官方 scikit-learn 文档

---

最受欢迎的见解

1.从决策树模型看员工为什么离职

2.R语言基于树的方法：决策树，随机森林

3.python中使用scikit-learn和pandas决策树

4.机器学习：在SAS中运行随机森林数据分析报告

5.R语言用随机森林和文本挖掘提高航空公司客户满意度

6.机器学习助推快时尚精准销售时间序列

7.用机器学习识别不断变化的股市状况——隐马尔可夫模型的应用

8.python机器学习：推荐系统实现（以矩阵分解来协同过滤）

9.python中用pytorch机器学习分类预测银行客户流失