Brier分数与概率校准

https://www.cnblogs.com/sddai/p/9581142.html

3.Brier分数

       在说概率校准前，先说下Brier分数，因为它是衡量概率校准的一个参数。

       简单来说，Brier分数可以被认为是对一组概率预测的“校准”的量度，或者称为“ 成本函数 ”，这一组概率对应的情况必须互斥，并且概率之和必须为1.

       Brier分数对于一组预测值越低，预测校准越好。

       其求解公式如下：(此公式只适合二分类情况，还有原始定义公式)

       

     其中  是预测的概率，是事件t的实际概率（如果不发生则为0），而N是预测事件数量。

     引用维基百科的一个例子说明 Brier分数的计算方式：   

     假设一个人预测在某一天会下雨的概率P，则Brier分数计算如下：
          如果预测为100％（P = 1），并且下雨，则Brier Score为0，可达到最佳分数。
          如果预测为100％（P = 1），但是不下雨，则Brier Score为1，可达到最差分数。
          如果预测为70％（P = 0.70），并且下雨，则Brier评分为（0.70-1）² = 0.09。
          如果预测为30％（P = 0.30），并且下雨，则Brier评分为（0.30-1）² = 0.49。
          如果预测为50％（P = 0.50），则Brier分数为（0.50-1）² =（0.50-0）² = 0.25，无论是否下雨。

4.概率校准

          概率校准就是对分类函数做出的分类预测概率重新进行计算，并且计算Brier分数，然后依据Brier分数的大小判断对初始预测结果是支持还是反对。