Auto-Encoding Scene Graphs for Image Captioning

zoukankan html css js c++ java

Auto-Encoding Scene Graphs for Image Captioning
原文地址
时间：2018年
 Introduction
end-to-end encoder-decoder模型存在一个问题：当将一张包括未见过的场景输入到网络中时，返回的结果仅仅就是一些显著的object，比如“there is a dog on the floor”，这样的结果与object detection几乎没有区别
认知上的证据表明，基于视觉的语言并非是end-to-end的，而是与高层抽象的符号相关，如果我们将scene抽象成符号，生成过程就会十分清晰，比如对于这幅图片

scene abstraction是“helmet-on-human”和"road dirty"，我们则可以生成"a man with a helmet in contryside"通过使用一个常识：country road is dirty，这种推断就是inductive bias
本文将inductive bias融合到encoder-decoder中来进行image captioning，利用符号推理和端到端多模型特征映射互补，通过scene graph( $G$ )来bridge它们，一个scene graph( $G$ )是一个统一的表示，它连接了以下几个部分
objects(or entities)
their attributes
their relationships in an image( $I$ ) or a sentence( $S$ )，通过有向边表示
key insight:the vector representations are expected to transfer the inductive bias from the pure language domain to the vision-language domain
作者提出了Scene Graph Auto-Encoder(SGAE)，作为一个句子重建网络，其过程是
其中 $D$ 是一个可训练的字典，用来记录结点特征， $S \to G$ 使用现成的scene graph language parser[1]， $D \to S$ 是一个可训练的RNN decoder，注意 $D$ 是"juice"——即language inductive bias，在训练SGAE中得到，通过将 $D$ 共享给encoder-decoder的pipline： $I \to G \to D \to S$ ，即可利用语言先验来指导端到端模型，具体的 $I \to G$ 是一个visual scene graph detector[52]，引入multi-modal GCN来进行 $G \to D$ 的过程，来补足detection的不足之处，有趣的是， $D$ 可以被视作为一个working memory，用来从 $I \to S$ re-key encoded nodes，以更小的domain gap来得到一个更一般的表达，
Contrubution
一个先进的SGAE模型，可以学习language inductive bias的特征表达
一个multi-model 图卷积网络，用来调节scene graph到视觉表达
一个基于SGAE的 encoder-decoder image captioner with a shared dictionary guiding the language decoding
Encoder-Decoder
给一张图片 $I$ ，我们需要生成一句话，state-of-the-art的image captioner是如下形式

通常，encoder是一个卷积神经网络，map是一个attention mechanism，将feature编码到一个更加informative的空间中，decoder是一个RNN-based 语言decoder，来预测 $S$ ，给定label和通过最小化交叉熵函数

或者通过强化学习最大化

这是目前几乎所有state-of-the-art的image captioning模型的基本架构，但它有 dataset bias，为了解决这个问题，我们使用language inductive bias，可以表示为

随后我们将使用SGAE来学习 $D$ ，通过sentence self-reconstruction with the help of scene graphs，然后我们将encoder-decoder equip上SGAE作为全局的image captioner，特别的是我们使用 $D$ 和Multi-model 图卷积网络来re-encode 图像的 features
Auto-Encoding Scene Graphs
本节介绍如何通过self-reconstructing学习 $D$ ，如图所示

SGAE的过程如下
 Scene Graphs
$S \to G$ ，从sentence到scene graph，scene graph是一个元组 $G = (N, ε)$ ，其中 $N$ 和 $ε$ 是边节点和边的集合，有三种 $N$ :目标结点 $o$ ，属性结点 $a$ ，以及关系结点 $r$ ，记 $o_{i}$ 是第i个目标， $a_{i, l}$ 是 $o_{i}$ 的第个属性，每个结点以d-维向量表示，作者的实验中d=1000，结点的特征是可训练的label embedding
边 $ε$ 的有以下几种
如果一个目标 $o_{i}$ 有属性 $a_{i, l}$ ，则 $o_{i}$ 到 $a_{i, l}$ 有一条有向边
如果存在三元组关系 $< o_{i} - r_{i j} - o_{j} >$ ，则 $o_{i}$ 到 $r_{i j}$ 和 $r_{i j} 到 o_{j}$ 均有两条边
下图给了一个例子，其中包括七个结点六条边

使用[1]中的scene graph parser来得到 $G$
graph convolution network
$G \to X$ ，将node embedding $e_{o}, e_{a}, e_{r}$ 转化成context-aware embedding $X$ ， $X$ 包括三种d维 embedding：关系embedding $x_{r_{i, j}}$ for 关系结点 $r_{i, j}$ ，目标embedding for 目标结点 $o_{i}$ ，以及属性结点 $x_{a_{i}}$ for目标结点 $o_{i}$ ，作者使用d=1000，使用四个空间图卷积（spatial graph convolutions）： $g_{r}, g_{a}, g_{s}, g_{o}$ 来生成上述的embedding，这四个网络有一样的结构，相互独立的参数

Relationship Embedding $x_{r_{i, j}}$
对每个三元组 $< o_{i} - r_{i j} - o_{j} >$ ， $x_{r_{i, j}}$ 综合上下文信息

Attribute Embedding $x_{a_{i}}$
对一个object结点 $o_{i}$ ， $x_{a_{i}}$ 综合它和它的所有属性

其中 $N_{a_{i}}$ 是 $o_{i}$ 的属性个数
Object Embedding $x_{o_{i}}$
$x_{o_{i}}$ 需要综合 $o_{i}$ 在整个graph中的主客体关系

若 $o_{j} \in s b j (o_{i})$ 表示 $o_{i}$ 是subject， $o_{j}$ 是object，
Dictionary
这一步学习 $D$ 并用它re-encode $R (X; D) \to X^$ 的方法，核心观点是保留working memory来执行dynamic knowledge base for run-time inference。 $D$ 的目标是embed language inductive bias到语言合成中。
这个过程就是学习一个字典 $D = d_{1}, d_{2}, . . ., d_{K} \in R^{d \times K}$ ，文章设K=10,000，re-encode:

其中

是memory network中的核心操作
使用[2]中的attention structure来reconstruction $S$ ，
Overall Model: SGAE-based Encoder Decoder

Multi-modal Graph Convolution Network
通过multi-modal图卷积网络将visual feature $V$ 转化成graph-modulated features ，此处的scene graph $G$ 是由image scene graph parser得到的，它包括一个object proposal detector（Faster-RCNN），一个attribute classifier（一个小的fc-ReLU-fc-Softmax network）和一个relationship classifier（MOTIFS）。
将检测到的label embedding $e_{o_{i}}$ 和visual featur $v_{o_{i}}$ 融合在一起成为新的结点特征 $u_{o_{i}}$ ：

其余的embedding $u_{r_{i} j}$ 和 $u_{a_{i}}$ 按照类似的方法生成，image $G$ 和 sentence $G$ 的不同在于前者simpler，nosier，如图所示

生成 $G$ 之后，计算embedding和re-encode的过程与处理sentence $G$ 类似
 结论
本文将 language inductive bias 融合到了image caption中，实现了more human-like的 language generation，主要方法是使用基于scene graph $G$ 的feature，学习并共享一个字典 $D$ 来re-encode这个feature。
问题
pure language domain 和 vision-language domain 有啥区别
有了边表示关系那关系结点是干啥的
表示不同的关系，比如wear hold等等

来源： https://blog.csdn.net/luo3300612/article/details/90042843
欢迎转载，转载请保留页面地址。帮助到你的请点个推荐。
查看全文