简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。例如，对于回归模型
，
若
，…，
为收集到的观测数据，则应该用
来估计
，这里
是
的估计值。这样点
的估计就是
，它们之间距离的平方就是
，
进而最小二乘估计量就是使得
(*)
达到最小值的参数.特别当各个和相应的估计值相等，即
时，最小二乘估计量就是使得
(**)
达到最小值的参数.
如果我们能够在固定解释变量值的前提下观测预报变量，就认为解释变量的观测值和估计值相等，从而可以通过(**)式求最小二乘估计.在实际应用中，人们常忽略“各个和相应的估计值相等”的条件，而把(**)式的最小值点称为参数
的最小二乘估计量，其原因有二：其一是不知道最小二乘方法的原理；或是找不到估计量的合理数学表达式，也就无法通过(*)式求最小二乘估计量，只好用(**)式的最小值点作为参数的估计.