摘要:在非线性最小二乘问题现有的3类主要算法- 高斯-牛顿法、阻尼最小二乘法和最小二乘的拟牛顿法的基础上，引入了综合性能更优的非线性规划的SQPM (序列二次规划法)算法，并且为进一步提高SQPM算法迭代的收敛性，对其步长策略进行了改进。改进的SQPM算法成为无需精确计算参数概略值的非线性最小二乘参数平差的实用和有效算法。
现状：
最小二乘参数平差的函数模型常常是非线性的。经典最小二乘参数平差是将非线性的函数模型在参数的概略值处按泰勒级数展开,忽略高次项使其线性化,然后按线性最小二乘法求解。其实质是用一个线性最小二乘问题来逼近原非线性最小二乘问题。但前提是参数的概略值应充分接近于参数的平差值,否则线性化过程中存在模型误差,难以保证平差结果的正确性。而参数概略值求解方法的规律性又极差，尤其难以实现计算机的自动化处理。为避开精确计算参数概略值的难题，同时又避免线性化过程中的模型误差，应直接采用非线性最小二乘参数平差方法求解。其数学模型为
其中,L^、L、V、X^、D、Q、P、σ0分别为观测值的平差值向量、观测值向量、观测值的改正数向量、参数的平差值向量、观测值的协方差阵、观测值的协因数阵、观测值的权阵、单位权中误差。
并不是列几个方程求就行了，而是要使用迭代法求解：
1.1 牛顿-高斯法(泰勒级数展开法)平差
思想是：一级泰勒展开式误差比较大，但是通过迭代的方法逐步逼近真值（通过泰勒展开式将非线性公式变成线性公式，然后利用牛顿法进行迭代求解）
伴随着真值逐步逼近真实值，参数也从初始值逼近最优解
法向量就是梯度下降方向：（也称作修正因子，修正数，等）
修正一次之后，重新求解该次的泰勒展开式和v，修正二次之后，重新求解v，
[总共3个点都放进去了，谁来验证？谁来做真值？不需要，因为全都是观测值，没有真值，跟机器学习里面的做法不一样]
但是Δ参数怎么求呢？光有参数的初始值，也不知道它的Δ是多少啊
不需要知道，因为求解的是v，而不是真正求f(x)真值，每一步不需要求解真值，只需要误差即可，而误差只需要展开式的f(x0)而不需要偏导项。
迭代之前：先要给要求解的参数一个初始值（该初始值要尽量合理一些）
最小二乘法的非线性拟合，高斯牛顿迭代法：https://blog.csdn.net/haoliliang88/article/details/52932397
每迭代一次都要计算：真实值与观测值之间的差，即为残差。
最小二乘法平差在摄影测量后方交会中的应用：
至少要有三个控制点，多了更好：（先通过泰勒公式求得展开式，然后根据最小二乘法求解拟合迭代）
- 组成误差方程式并法化
- 解求外方位元素改正数(改正数为最小二乘的改正数？)
- 检查迭代是否收敛
设有条件式:AV+ W=0
W=AL+A0
法方程为:AP-1ATK + W=0.
P=[P1,P2,..Pn] T
最小二乘法：https://zhuanlan.zhihu.com/p/38128785
线性最小二乘法和非线性最小二乘法的解法区别：拟合法的优点
>>参考1：https://wenku.baidu.com/view/96ed895180eb6294dc886c87.html
参考2：https://wenku.baidu.com/view/51021cf0ba0d4a7302763af1.html
参考3：https://wenku.baidu.com/view/0b3cd1a1842458fb770bf78a6529647d26283486.html
非线性最小二乘法的迭代法求解：link
第一步：A0有假设值。求v。
第二步：根据Δ，求参数更新值A'。