zoukankan      html  css  js  c++  java
  • xDeepFM论文阅读

    先回顾一下DCN提出的一种显式特征交叉结构

     xDeepFM 作者指出这个结构存在以下两个缺点:

     1. CrossNet 是一种张量积的结构

     2. CrossNet 是一种bit-wise的特征交叉

    Compressed Interaction Network

    xDeepFM 提出了Compressed Interaction Network(CIN)网络结构,这个网络结构具有以下几个特点:

    1. 这是一种 vector-wise 层次的特征交互

    2. 复杂度不会随着特征交叉度呈指数增长

    CIN 以以下方式进行特征交叉

     DCN 的Cross层接在Embedding层之后,虽然可以显示自动构造高阶特征,但它是以bit-wise的方式。例如,Age Field对应嵌入向量<a1,b1,c1>,Occupation Field对应嵌入向量<a2,b2,c2>,在Cross层,a1,b1,c1,a2,b2,c2会拼接后直接作为输入,即它意识不到Field vector的概念。Cross 以嵌入向量中的单个bit为最细粒度,而FM是以向量为最细粒度学习相关性,即vector-wise。xDeepFM的动机,正是将FM的vector-wise的思想引入Cross部分。

    参考资料

    https://zhuanlan.zhihu.com/p/57162373

  • 相关阅读:
    jquery 不支持$.browser
    js 双向绑定
    css3 省略号
    js生成txt文件
    Browser-sync
    Generator & yield write in sync way
    Charles
    缓动函数与动画
    让Safari使用Chrome的代理
    React 同构
  • 原文地址:https://www.cnblogs.com/xumaomao/p/15659097.html
Copyright © 2011-2022 走看看