最小二乘法Least Square Method，做为分类回归算法的基础，有着悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
下面这篇文章主要跟大家介绍了关于python中matplotlib实现最小二乘法拟合的相关内容，下面话不多说，来一起看看详细的介绍：
一、最小二乘法拟合直线
生成样本点
首先，我们在直线 y = 3 + 5x 附近生成服从正态分布的随机点，作为拟合直线的样本点。
|
1
2
3
4
5
6
7
8
9
10
|
import numpy as np import matplotlib.pyplot as plt# 在直线 y = 3 + 5x 附近生成随机点X = np.arange(0, 5, 0.1) Z = [3 + 5 * x for x in X] Y = [np.random.normal(z, 0.5) for z in Z]plt.plot(X, Y, 'ro') plt.show() |
样本点如图所示：
拟合直线
设 y = a0 + a1*x，我们利用最小二乘法的正则方程组来求解未知系数 a0 与 a1。
numpy 的 linalg 模块中有一个 solve 函数，它可以根据方程组的系数矩阵和方程右端构成的向量来求解未知量。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
def linear_regression(x, y): N = len(x) sumx = sum(x) sumy = sum(y) sumx2 = sum(x**2) sumxy = sum(x*y) A = np.mat([[N, sumx], [sumx, sumx2]]) b = np.array([sumy, sumxy]) return np.linalg.solve(A, b)a0, a1 = linear_regression(X, Y) |
绘制直线
此时，我们已经得到了拟合后的直线方程系数 a0 和 a1。接下来，我们绘制出这条直线，并与样本点做对比。
|
1
2
3
4
5
6
7
|
# 生成拟合直线的绘制点_X = [0, 5] _Y = [a0 + a1 * x for x in _X]plt.plot(X, Y, 'ro', _X, _Y, 'b', linewidth=2) plt.title("y = {} + {}x".format(a0, a1)) plt.show() |
拟合效果如下：
