FM和FFM模型是最近几年提出的模型，凭借其在数据量比较大并且特征稀疏的情况下，仍然能够得到优秀的性能和效果的特性
FM原理
经过One-Hot编码之后，大部分样本数据特征是比较稀疏的。例如，CTR/CVR预测时，用户的性特征具有非零值。实际上，这种情况并不是此例独有的，在真实应用场景中这种情况普遍存在。例如，CTR/CVR预测时，用户的性别、职业、教育水平、品类偏好，商品的品类等，经过One-Hot编码转换后都会导致样本数据的稀疏性。特别是商品品类这种类型的特征，如商品的末级品类约有550个，采用One-Hot编码生成550个数值特征，但每个样本的这550个特征，有且仅有一个是有效的（非零）。由此可见，数据稀疏性是实际问题中不可避免的挑战。
One-Hot编码的另一个特点就是导致特征空间大。例如，商品品类有550维特征，一个categorical特征转换为550维数值特征，特征空间剧增。
同时通过观察大量的样本数据可以发现，某些特征经过关联之后，与label之间的相关性就会提高。例如，“USA”与“Thanksgiving”、“China”与“Chinese New Year”这样的关联特征，对用户的点击有着正向的影响。换句话说，来自“China”的用户很可能会在“Chinese New Year”有大量的浏览、购买行为，而在“Thanksgiving”却不会有特别的消费行为。这种关联特征与label的正向相关性在实际问题中是普遍存在的，如“化妆品”类商品与“女”性，“球类运动配件”的商品与“男”性，“电影票”的商品与“电影”品类偏好等。因此，引入两个特征的组合是非常有意义的。
多项式模型是包含特征组合的最直观的模型。在多项式模型中，特征xi和xj的组合采用xixj表示，即xi和xj都非零时，组合特征xixj才有意义。从对比的角度，本文只讨论二阶多项式模型。模型的表达式如下
其中,n代表样本的特征数量，xi是第i个特征的值, w0、w1 、wij是模型参数。
然而，在数据稀疏性普遍存在的实际应用场景中，二次项参数的训练是很困难的。其原因是，每个参数wij的训练需要大量xi和xj都非零的样本；由于样本数据本来就比较稀疏，满足“xi和xj都非零”的样本将会非常少。训练样本的不足，很容易导致参数wij不准确，最终将严重影响模型的性能。
那么，如何解决二次项参数的训练问题呢？矩阵分解
所有二次项参数wij可以组成一个对称阵W（为了方便说明FM的由来，对角元素可以设置为正实数），那么这个矩阵就可
以分解为 W = VTV，V的第 j列便是第 j维特征的隐向量。换句话说，每个参数 wij = <vi, vj>，这就是FM模型的核心思想。因
此，FM的模型方程为（本文不讨论FM的高阶形式）
其中，vi是第 i维特征的隐向量，< , >代表向量点积。隐向量的长度为 k（k << n），包含 k个描述特征的因子。根据公式 ，
二次项的参数数量减少为kn个，远少于多项式模型的参数数量。另外，参数因子化使得xhxi的参数和xixj的参数不再是相互独立的，因此我们可以在样本稀疏的情况下相对合理地估计FM的二次项参数。
具体来说，xhxi和 xixj的系数分别为 <xh, vi>和<vi, vj>，它们之间有共同项vi。也就是说，所有包含“ xi的非零组合特征”（存在某个j != i ，使得 xixj != 0）的样本都可以用来学习隐向量 vi，这很大程度上避免了数据稀疏性造成的影响。而在多项式模型中，whi和 wij是相互独立的
显而易见，公式 是一个通用的拟合方程，可以采用不同的损失函数用于解决回归、二元分类等问题，比如可以采用MSE（Mean
Square Error）损失函数来求解回归问题，也可以采用Hinge/Cross-Entropy损失来求解分类问题。当然，在进行二元分类时，FM
的输出需要经过sigmoid变换，这与Logistic回归是一样的。
直观上看，FM的复杂度是 O(kn2) 。
但是通过下面的变换可以优化到O(kn)
FFM原理
通过引入field的概念，FFM把相同性质的特征归于同一个field。
例，“Day=26/11/15”、“Day=1/7/14”、“Day=19/2/15”这三个特征都是代表日期的，可以放到同一个field中。
简单来说，同一个categorical特征经过One-Hot编码生成的数值特征都可以放到同一个field，包括用户性别、职业、品类偏好等。
假设样本的 n个特征属于 f个field，那么FFM的二次项有nf个隐向量。而在FM模型中，每一维特征的隐向量只有一个。FM可以看作FFM的特例，是把所有特征都归属到一个field时的FFM模型。根据FFM的field敏感特性，可以导出其模型方程。
其中，fj是第 j个特征所属的field。如果隐向量的长度为k ，那么FFM的二次参数有 nfk个，远多于FM模型的 nk个。此外，由于隐向量与field相关，FFM二次项并不能够化简，其预测复杂度是O(kn2)。