模型1预测方差为V1,模型2预测方差为V2,总能找到权重,使融合模型的预测方差小于其中任何一个模型。
设:模型1的预测值随机变量为X,模型2的预测值随机变量为Y,即证存在a使得:Var(aX + (1-a)Y) < min(V1, V2)
不妨设,V1<V2,且V2=kV1
则:Var(aX + (1-a)Y)-V1 = [(1+k)a^2 -2ka + (k-1)]V1
即求:(1+k)a^2 -2ka + (k-1) < 0的a, 根据求根公式易得:(k-1)/(k+1) < a < 1
最小预测方差在:a=k/(k+1) 处取得
拓展:
对于三个模型的融合:V1<V2(=k1V1)<V3(=k2V2),aX+bY+cZ
易得:a=k1k2/(k1+k2+k1k2), b=k2/(k1+k2+k1k2), c=k1/(k1+k2+k1k2)时融合模型的预测方差最小。