数值计算
上溢和下溢
softmax函数
[softmax(x_i) = frac{exp(x_i)}{sum_{j=1}^{n}exp(x_j)}
]
差条件（poor conditioning）
条件（conditioning）指的是函数在输入产生很小变化时自身所改变的速度。当函数变化非常迅速而它们的输入只是轻微扰动，那么这对于科学计算来说是有问题的，因为输入的rounding误差会导致输出发生很大的变化。
网上的参考信息：对于一个线性方程Ax=b，当系数矩阵A一个很小的扰动只引起解向量x很小的扰动时，就称矩阵A是“良态”矩阵（well-conditioned matrix）。若系数矩阵A一个很小的扰动会引起解向量x很大的扰动，则称矩阵A是“病态”矩阵（ill-conditioned matrix）。条件数刻画了求解线性方程时，误差经过矩阵A的传播扩大为解向量的误差的程度，因此是衡量线性方程数值稳定性的一个重要指标。
考虑函数(f(x)=A^{-1}x)，当(A in Bbb{R}^{n imes n})有特征分解，它的条件数为：
[max_{i,j} |frac{lambda_i}{lambda_j}|
]
这是最大、最小特征值振幅的比例。当这个比例很大的时候，逆矩阵对输入误差非常敏感。
这种敏感是矩阵自身内部的属性，而不是在矩阵求逆时rounding误差的结果。
基于梯度的优化
这部分内容参考优化器。
- Jacobian Matrices和Hessian Matrices
约束优化（constraint optimization）
- KKT和通用拉格朗日函数
Linear Least Squares
略