最小二乘法

最小二乘法

E = || ax - b || = [(a_1 x - b_1)^2 + (a_2 x - b_2)^2 + ... + (a_m x - b_m)……2 ]^2，这里

|| ||表示模，如果用T表示转置的话，平方值为

E^2 = (ax-b)^T(ax-b) = a^T a x^2  - 2a^T bx + b^T b

档frac{dE^2}{dx} = 2 a^T ax - 2 a^Tb = 0时， E^2有最小值，即最小二乘解<x>为

<x> = (a^T a)^{-1}a^T b

来自为知笔记(Wiz)