先回顾一下DCN提出的一种显式特征交叉结构
xDeepFM 作者指出这个结构存在以下两个缺点:
1. CrossNet 是一种张量积的结构
2. CrossNet 是一种bit-wise的特征交叉
Compressed Interaction Network
xDeepFM 提出了Compressed Interaction Network(CIN)网络结构,这个网络结构具有以下几个特点:
1. 这是一种 vector-wise 层次的特征交互
2. 复杂度不会随着特征交叉度呈指数增长
CIN 以以下方式进行特征交叉
DCN 的Cross层接在Embedding层之后,虽然可以显示自动构造高阶特征,但它是以bit-wise的方式。例如,Age Field对应嵌入向量<a1,b1,c1>,Occupation Field对应嵌入向量<a2,b2,c2>,在Cross层,a1,b1,c1,a2,b2,c2会拼接后直接作为输入,即它意识不到Field vector的概念。Cross 以嵌入向量中的单个bit为最细粒度,而FM是以向量为最细粒度学习相关性,即vector-wise。xDeepFM的动机,正是将FM的vector-wise的思想引入Cross部分。