深度因式分解机
Deep Factorization Machines
学习有效的特征组合对于点击率预测任务的成功至关重要。因子分解机以线性范式对特征交互进行建模（例如，双线性交互）。对于实际数据来说，这通常是不够的，因为在实际数据中，固有特征交叉结构通常非常复杂和非线性。更糟糕的是，二阶特征交互在实际的分解机中通常被使用。从理论上讲，用因子分解机对高阶特征组合进行建模是可行的，但由于数值不稳定和计算复杂度高，通常不采用这种方法。
一个有效的解决方案是使用深度神经网络。深度神经网络在特征表示学习方面具有强大的功能，并且有潜力学习复杂的特征交互。因此，将深度神经网络集成到因子分解机中是很自然的。向因子分解机中添加非线性变换层，使其能够同时对低阶特征组合和高阶特征组合进行建模。此外，输入的非线性固有结构也可以用深度神经网络捕捉。在这一部分中，将介绍一个典型的模型，将FM和deep神经网络结合起来，命名为DeepFM（DeepFM）[Guo et al.，2017]。
1. Model Architectures
DeepFM由一个FM组件和一个deep组件组成，集成在一个并行结构中。FM组件与用于建模低阶特征交互作用的双向因式分解机相同。deep组件是一个多层感知器，用于捕获高阶特征交互和非线性。这两个组件共享相同的输入/嵌入，输出总结为最终预测。值得一提的是，DeepFM与深度广度Wide&Deep架构的理论相似，既能存储又能扩展。DeepFM相对于Wide&Deep模型的优势在于，通过自动识别特征组合来减少手工构建特征工程的工作量。
值得注意的是，深度调频并不仅仅是将深度调频与神经网络相结合。还可以在特征交互上添加非线性层[He&Chua，2017]。
from d2l import mxnet as d2l
from mxnet import init, gluon, np, npx
from mxnet.gluon import nn
import os
import sys
npx.set_np()
2. Implemenation of DeepFM
DeepFM的实现与FM类似。使用功能块保持激活功能不变。Dropout也用于正则化模型。MLP的神经元数目可以通过MLP_dims超参数进行调整。
class DeepFM(nn.Block):
def __init__(self, field_dims, num_factors, mlp_dims, drop_rate=0.1):
super(DeepFM, self).__init__()
num_inputs = int(sum(field_dims))
self.embedding = nn.Embedding(num_inputs, num_factors)
self.fc = nn.Embedding(num_inputs, 1)
self.linear_layer = nn.Dense(1, use_bias=True)
input_dim = self.embed_output_dim = len(field_dims) * num_factors
self.mlp = nn.Sequential()
for dim in mlp_dims:
self.mlp.add(nn.Dense(dim, 'relu', True, in_units=input_dim))
self.mlp.add(nn.Dropout(rate=drop_rate))
input_dim = dim
self.mlp.add(nn.Dense(in_units=input_dim, units=1))
def forward(self, x):
embed_x = self.embedding(x)
square_of_sum = np.sum(embed_x, axis=1) ** 2
sum_of_square = np.sum(embed_x ** 2, axis=1)
inputs = np.reshape(embed_x, (-1, self.embed_output_dim))
x = self.linear_layer(self.fc(x).sum(1))
+ 0.5 * (square_of_sum - sum_of_square).sum(1, keepdims=True)
+ self.mlp(inputs)
x = npx.sigmoid(x)
return x
3. Training and Evaluating the Model
数据加载过程与FM相同。将DeepFM的MLP组件设置为一个具有金字塔结构的三层密集网络（30-20-10）。所有其超参数与FM相同。
batch_size = 2048
data_dir = d2l.download_extract('ctr')
train_data = d2l.CTRDataset(os.path.join(data_dir, 'train.csv'))
test_data = d2l.CTRDataset(os.path.join(data_dir, 'test.csv'),
feat_mapper=train_data.feat_mapper,
defaults=train_data.defaults)
field_dims = train_data.field_dims
num_workers = 0 if sys.platform.startswith('win') else 4
train_iter = gluon.data.DataLoader(train_data, shuffle=True,
last_batch='rollover',
batch_size=batch_size,
num_workers=num_workers)
test_iter = gluon.data.DataLoader(test_data, shuffle=False,
last_batch='rollover',
batch_size=batch_size,
num_workers=num_workers)
ctx = d2l.try_all_gpus()
net = DeepFM(field_dims, num_factors=10, mlp_dims=[30, 20, 10])
net.initialize(init.Xavier(), ctx=ctx)
lr, num_epochs, optimizer = 0.01, 30, 'adam'
trainer = gluon.Trainer(net.collect_params(), optimizer,
{'learning_rate': lr})
loss = gluon.loss.SigmoidBinaryCrossEntropyLoss()
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, ctx)
loss 0.510, train acc 0.845, test acc 0.860
123302.7 examples/sec on [gpu(0), gpu(1)]
与FM相比，DeepFM收敛速度更快，性能更好。
4. Summary
- Integrating neural networks to FM enables it to model complex and high-order interactions.
- DeepFM outperforms the original FM on the advertising dataset.