2002 ICIP Face photo recognition using sketch
网盘链接 密码：if7l
- ABSTRACT
- INTRODUCTION
- SKETCH RECOGNITION
2.1 Conventional eigenface method
2.2 Eigensketch transformation - EXPERIMENTS
- SUMMARY
2.1. Conventional eigenface method
Eigenface method是人脸识别的有效方法之一，它在FERET（人脸数据库） test中表现出良好。
该方法使用KLT(Karhunen-Loeve Transform)来提取人脸的代表特征，该方法也叫PCA方法。
PCA算法：
输入：样本集D={x1,x2,...,xm}, 低维维数k
过程：
1.数据中心化/归一化： xi = xi - μi
2.计算协方差矩阵： XX^T
3.对XX^T做奇异值分解
4.取前k个最大的特征值对应的特征向量w1,w2,...,wk
输出：投影矩阵W={w1,w2,...,wk}
Qi 表示一张图像的向量(column vector)，Qu 表示平均值，以下为中心化/归一化：
P 为所有样本向量归一化后合起来（训练集）的矩阵，W 为协方差矩阵(covariance matrix)：
经过奇异值分解（SVD）得到 特征向量组成的矩阵Vp, 特征值组成的对角矩阵Λp。
这里有个地方要【注意】：由于W为N阶矩阵（N为图像的像素总数，即 Pi 的长度），对其直接进行SVD的话，计算量太大。因此我们可以先对W的转置SVD，由于P为NxM的矩阵，M为向量个数（即训练及大小），M<<N，所以计算量大大降低。
两边同时左乘P：
–求PPT的标准正交化矩阵：
–我们是先用SVD求出PTP标准正交化矩阵的，即Vp，Vp-1=VpT。而我们要求的是PPT的标准正交化矩阵，如上面的等式，我们不能保证PVp是标准正交化矩阵，因此要对其标准正交化，得到如下，可以验证 EpEpT=I。
因此，对于一个新的图片Pk，经过Ep的变换后，得到特征向量 bp :
2.2. Eigensketch transformation
对于上列等式，两边同时左乘Ep，由于Ep是标准正交矩阵，有Pk=Ep*bp，但是经过Ep降维后，这里的等号实际上是有损失的，所以记Pk为Pr，即重构的photo：
将Ep代入：
–这里的 cp 和Pk有什么关系吗？
–有。cp和bp有关，而 bp=Ep^TPk。
所以我们可以由样本集原图线性组合起来近似表示新的图片的：
同理，我们把素描原始图（sketch）也按这个线性组合重构：
如图2（Figure2），我们由(a)->(b)得到线性组合 cp，再用该线性组合(d)->(c）.
3. EXPERIMENTS
用188对不同人脸的原始图和素描图(photo-sketch pairs)。
训练集：88 photo-sketch pairs
测试集：100 photo-sketch pairs
同时，还设置三组不同方法进行比较，分别为：几何法（geometry），传统法（conventional），以及本论文的方法。
试验采用 FERET test protocol（一种人脸识别算法评估方法），将测试集的photo作为gallery set，sketch作为probe set。计算相似度，如下表。
相似度计算过程：
从测试集的gallery set选取一张photo: Pk，用训练集的88张photos来重构得到Pr，求出cp，再用cp来将训练集中的sketches结合起来表示Sr’，最后与测试集的probe set中的sketches作比较，计算相似度。如下图：
FERET Sep96 protocol 相关链接：
The_FERET_Verification_Testing_Protocol_for_Face_Recognition_Algorithms