zoukankan      html  css  js  c++  java
  • 【论文阅读-CTR】<<Deep Learning over Multi-filed Categorical Data -A Case Study On User Response Prediction>>阅读

    摘要:

    用户反馈预估是搜素、推荐、广告的核心问题;其特征都是多域的分类和数值特征,难以利用;

    常用的方法是线性模型+人工特征组合来预估;

    本文通过FNN(基于FM)和SNN(基于RBM和DAE)来预估。

    1、介绍

    常用的ctr预估模型:

    1)线性模型:LR->NB->FTRLLR->Bayesian probit regression

        优点:容易实现;高效学习

        缺点:不能学习特征组合,效果较差

    2)非线性模型:FM,GBM

        优点:自动学习组合特征

        缺点:不能充分利用各种特征组合

    很多模型需要人工特征,浅层模型,表达能力不强;对大量复杂数据的建模和泛化能力有限。

    DNN在计算机视觉,语音识别,自然语言处理上有优势;

    比如通过非监督的预训练,可以获取原始特征的高维表示,这种思路可以用在ctr上:

    通过FM、RBM、DAE把分类特征表示成连续特征。

    2、相关工作

    部分DNN的策略,预训练+fine tune。

    3、DNN for CTR

    1)FM+FCNN,3hidden layers,第一二层使用tanh激活,第三层使用sigmoid激活

    第一层使用FM预训练,预训练的结构和fine tune使用的结构不同,也不会出问题,原因:有识别能力信息的高度模糊,后验权重和先验差别会太大。

    2)SNN:

    RBM base使用DC训练,DAE使用sgd训练

    3)正则化:

    L2正则

    4、实验

    1)策略对比:FNN整体优于SNN,RBMbase SNN和DAE base SNN接近;

    2)increase,decrease 差于constant; diamond架构优于所有架构

    3)正则:dropout正则相当于bagging,优于L2;

    FNN dropout obust;SNN dropout敏感;预计是FNN第一层部分连接,丢弃部分影响不大

    如果发现文中有问题,敬请联系作者批评指正,真诚欢迎您的指教,谢谢!

    微信: legelsr0808

    邮箱: legelsr0808@163.com

  • 相关阅读:
    跨平台开发得力助手
    一分钟将你的WPF应用程序变身成炫彩动态Metro风格
    因.Net Target Framework导致的编译错误
    WCF笔记
    WCF元数据发布的2种方式:httpGetEnabled与mex
    使用ClickOnce发布应用程序
    TFS笔记
    升级镁光M4固态硬盘的固件
    Android调用RESTful WCF服务
    用原生的android SDK与PhoneGap分别做了个示例,发现PhoneGap的要慢得多
  • 原文地址:https://www.cnblogs.com/ai1024/p/6876350.html
Copyright © 2011-2022 走看看