1、线性模型的基本形式
2、线性模型的线性回归，有序关系均分1，无序关系化向量。
3、由均方误差最小值来进行模型求解的方法叫做最小二乘法。将均方误差关于w关于b求导，得到0，即得最优解。
4、多元线性回归。将数据集表示为矩阵，标记也写成矩阵式。
转置矩阵乘以原矩阵得到平方项，用来搞出来均方差。
5、对数回归。将原方程中的y取log
6、线性判别分析（LDA）
所谓线性判别，实际上是将样例投影到一条直线上。假设有两个样例，每个样例有各自的均值和方差，两个样例分别投影到同一条直线上，然后我们为了区分两个样例，会希望他们的均值相差很大，方差很小。为了分别表示他们，我们引入类内散度矩阵和类间散度矩阵（并非表示均值或者方差），但是我们同样希望类内散度矩阵更小，类间散度矩阵更大。
同时，线性判别分析的投影思想，亦可将线性判别用来监督降维。
7、多分类学习
A、机制有一对多学习，一对一学习
B、纠错输出码技术：
编码 ：对类别划分正反类，产生训练集
解码：预测测试样本，将测试标记组成编码，将预测编码与类别码进行比较，返回最近的。
为什么这个模型能够纠错，因为即使某一个预测码错了，依然可以通过最近的那个返回最准确的预测码所用的分类器。
8、类别不平衡问题
正例反例数据量相差很大的问题。
解决这类问题很简单
A、欠采样法和过采样法
B、再缩放，将所占比例乘以正返利数据量之比。