zoukankan      html  css  js  c++  java
  • 论文-Deep Cross-Modal Hashing

    Deep Cross-Modal Hashing

     关键词:cross-Modal, deep learning 

    因为cross-modal hashing的低存储和高效的查询能力,被广泛用于多媒体的相似度检索中。本论文提出了一个deep cross-modal hashing(DCMH),首次将feature learning和hash-code learning结合到同一个框架中。

    DCMH的框架:

    该框架包含两个deep Neural Network,一个是提取image的feature,另一个提取text中的feature。

    CNN的结构为:

    其中包含五个conv layer和三个fc layer,LRN表示加入了Local Response Normalization,

    BoW的结构为:

    根据上面的feature learning得到hash code,

    其中DCMH的objective function是

    最后多次实验,发现如果两个模态同一个类的训练样本的binary code设置为一致,会取得更好的效果。

    learning method

    采取了一种交叉学习的策略,同时对 X, Y 和B进行学习。保持X与Y的网络对B进行training,然后保持B的参数不变而对X与Y的网络进行training。

    当固定Y网络和B时,对X网络进行优化:

    当固定X网络和B时,对y网络进行优化:

    当固定X,Y网络和时,对B进行优化:

    实验效果:

    个人感受:

    用deep learning工具加入cross-modal这个领域,且第一次完成了end-to-end的框架的设计。

  • 相关阅读:
    恢复安装数据库的SCOTT用户的数据:
    SQL Server DATEDIFF() 函数
    MS SQL 日期格式转换
    cxGrid增加一栏显示checkBox的设置方法
    介绍JSP程序动态网站环境搭建的详细步骤
    SQL Server CONVERT() 函数
    最新JSP环境配置方法
    JSP语法(Jsp技术大全)1
    SQL字符串处理函数大全
    JSP数据库连接
  • 原文地址:https://www.cnblogs.com/zhang-yd/p/7799912.html
Copyright © 2011-2022 走看看