zoukankan      html  css  js  c++  java
  • xDeepFM论文阅读

    先回顾一下DCN提出的一种显式特征交叉结构

     xDeepFM 作者指出这个结构存在以下两个缺点:

     1. CrossNet 是一种张量积的结构

     2. CrossNet 是一种bit-wise的特征交叉

    Compressed Interaction Network

    xDeepFM 提出了Compressed Interaction Network(CIN)网络结构,这个网络结构具有以下几个特点:

    1. 这是一种 vector-wise 层次的特征交互

    2. 复杂度不会随着特征交叉度呈指数增长

    CIN 以以下方式进行特征交叉

     DCN 的Cross层接在Embedding层之后,虽然可以显示自动构造高阶特征,但它是以bit-wise的方式。例如,Age Field对应嵌入向量<a1,b1,c1>,Occupation Field对应嵌入向量<a2,b2,c2>,在Cross层,a1,b1,c1,a2,b2,c2会拼接后直接作为输入,即它意识不到Field vector的概念。Cross 以嵌入向量中的单个bit为最细粒度,而FM是以向量为最细粒度学习相关性,即vector-wise。xDeepFM的动机,正是将FM的vector-wise的思想引入Cross部分。

    参考资料

    https://zhuanlan.zhihu.com/p/57162373

  • 相关阅读:
    反射&异常
    成员方法
    继承&多态
    面向对象
    常用模块
    软件目录结构规范
    内置函数
    生产器&迭代器
    装饰器
    函数
  • 原文地址:https://www.cnblogs.com/xumaomao/p/15659097.html
Copyright © 2011-2022 走看看