zoukankan      html  css  js  c++  java
  • DSSM:深度语义模型

    • 概述:隐式语义模型将query与document映射到低维空间,把二者的相关性问题转化为低维空间向量的距离。DSSM使用深度结构实现此映射过程,同时提出word hashing技术使得模型适用于大规模数据
    • 经典的隐式语义模型:
    1)无监督,目标函数与评价指标耦合关系较弱,效果不佳
    1.latent semantic analysis: 对document-term利用SVD进行分解,映射doc或term到低维空间
    2.probabilistic latent semantic analysis
    3.latent dirichlet allocation
    2)拓展隐式语义模型:利用用户点击数据
    1.Bi-Lingual Topic Models: 生成模型
    2.Discriminative Projective Mdoels:使用S2Net算法进行学习
    3)拓展隐式语义模型:利用自动编码器,生成模型
    • DSSN模型:
    1)结构:
    2)计算:
    3)DSSM模型学习过程:
    1.给定query时点击文档的后延概率:
    2.最小化目标函数:D+正样本、随机采样未点击D-负样本
    4)word hashing: 解决term vector太大问题,对bag-of-word向量降维
     
    1.方法:以单词good为例,先为其添加起止符号为#good#,然后拆分为n-gram,典型的trigrams为(#go,goo,ood,od#),最后单词被表示为n-gram字符的向量
    2.优点:将低term vector的维度
    3.不足:碰撞问题
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
     
  • 相关阅读:
    bzoj1007: [HNOI2008]水平可见直线(单调栈)
    1264: [AHOI2006]基因匹配Match(动态规划神题)
    bzoj1433: [ZJOI2009]假期的宿舍(最大二分图匹配)
    bzoj3931: [CQOI2015]网络吞吐量(spfa+网络流)
    [ZJOI2007]矩阵游戏
    [HAOI2007]覆盖问题
    [ZJOI2008]树的统计
    [ZJOI2010]数字计数
    [HAOI2006]旅行
    [HAOI2006]数字序列
  • 原文地址:https://www.cnblogs.com/bytedance/p/9359941.html
Copyright © 2011-2022 走看看