Introduction
本文主要解决RGB-IR跨模态匹配问题。贡献主要有三部分组成：
① 提出了 Hierarchical Cross-Modality Disentanglement（Hi-CMD）方法，该模块的目的是排除姿态、光照这些冗余特征（ID-excluded）的影响，提取出更加有判别力的体态、衣着等信息（ID-discriminative）。
② 该方法包含了两个核心模块：ID-PIG 网络和 HFL 模块。ID-preserving Person Image Generation（ID-PIG）网络，在保证行人ID不变的条件下，改变它的姿态、光照属性。Hierarchical Feature learning（HFL）模块用于确保编码器能够提取具有判别力的特征，对姿态、光照变化具有鲁棒性。
Method
网络的结构图如下。
（1）ID-PIG网络：
ID-PIG 网络采用二阶层次化。第一层次采用原型编码器和属性编码器，原型编码器对图像中行人的体态等外貌特征进行编码，属性编码器对衣服风格、姿态、光照这类可变属性进行编码。第二层次属性编码划分成三类
，具体为：风格属性编码、光照属性编码、姿态属性编码。这三种编码分别表示：风格属性是对行人的衣服结构进行编码；光照属性编码对应模态之间的差异，把不同RGB、IR摄像头的视觉差异定义为光照属性；姿态属性对应模态内的差异，理解为同一个模态内行人的多种姿态。
最终光照、姿态属性作为ID-excluded编码，而风格属性、原型编码作为ID-discriminative编码。
损失函数包含如下：
① 跨模态重构损失函数：保证原始图像的体态（原型编码）和衣服结构（风格属性），替换模态（光照属性）和姿态（姿态属性），重构生成的图像要与对应模态的样本图像尽可能接近。
② 同模态重构损失函数：对同模态的四个编码，重新生成原始图像。
③ cycle重构损失函数：两次跨模态重构。
④ 编码损失函数：同模态的编码需要尽可能接近。
最终损失函数：
⑤ KL散度损失：（两种模态各一个）为了让ID-excluded编码接近高斯分布。
其中
，
⑥ 对抗损失：判别器G将判断生成的图像是real还是fake。
（2）HFL模块：
将ID-discriminative编码加权级联得到判别向量，即
，再传入全连接层，得到最终的特征向量。
ReID损失函数包含交叉熵损失和三元组损失，训练数据采用训练得到的生成器进行数据增强，生成相同ID但不同姿态、光照属性的行人图片。
Experiment
