论文笔记：博士论文《基于稀疏和低秩约束的模型学习研究》第一二章

子空间学习方法概述

子空间学习就是基于某一特定的准则，将数据从原始的高维特征空间变换到低维的、有意义的子空间的过程，其目的是为了抓住数据的内在结构，进而作进一步地分析。

 

无监督子空间学习方法

利用数据的局部关系来保持数据内在的流形结构，代表性的方法有：

• 局部线性嵌入 (Locally linear embedding, LLE)

• 拉普拉斯奇异映射 (Laplacian eigenmap, LE)

• 近邻保持嵌入 (Neighbor preserving embedding, NPE)

• 主成分分析 (Principle Component Analysis, PCA)从二阶上消除了样本之间的相关性。

• 局部保留投影 (Local Preserving Projection, LPP)寻求数据的低维表示来保持原始高维数据的局部结构。

• 稀疏保持投影 (Sparsity preserving projections, SPP)目的是寻找一个投影矩阵以便能够最好地保持数据的稀疏重构关系。

 

半监督子空间学习方法

代表性的工作有：

• 半监督的鉴别分析 (Semi-supervised discriminant analysis, SDA)使用标签信息来最大化不同类之间的距离同时使用无标签的数据来估计数据的内在几何结构，使得所学习到的鉴别性的投影对于无标签数据具有非常好的分类效果。

• 抑制的非负矩阵分解 (Constraint nonnegative matrix factorization, CNMF)使用少量标记样本的标签来提高分解矩阵的鉴别能力。

• 灵活的流形嵌入 (Flexible manifold embedding, FME)利用整个数据的局部结构以及少量的标签信息来就行半监督和无监督聚类。

• 基于迹率的半监督 DR (Semi-supervised DR using trace ratio criterion, TR-FSDA)将 SDA目标函数设计为一个迹率问题，从而使得到的投影更具有灵活性。

 

有监督子空间学习方法

通过最大化类间距离和最小化类内距离来学习一个鉴别性的投影。代表性的工作有：

• 线性鉴别分析 (Linear discriminant analysis, LDA)

• 局部线性鉴别分析框架 (Local linear discriminant analysis framework, LLDA)

• 稀疏张量鉴别分析 (Sparse tensor discriminant analysis, STDA)

• 局部敏感鉴别分析 (Local sensitive discriminant analysis, LSDA)

 

稀疏表示

 

低秩表示