针对高维空间中的数据集，矩阵分解通过寻找到一组基及每一个数据点在该基向量下的表示，可对原始高维空间中的数据集进行压缩表示。
令 X=[x1,⋯,xm]∈Rm×n 为数据矩阵，矩阵分解的数学含义即为，找到如下的两个矩阵（U∈Rm×k,A∈Rk×n），其矩阵乘法可实现对原始数据集的最优逼近：
从这一角度来看，矩阵分解可视为 m→k 的降维算法。
矩阵分解可进一步定义为如下的优化问题：