神秘值分解（Singular Value Decomposition） - 走看看

zoukankan html css js c++ java

神秘值分解（Singular Value Decomposition）
- 线性变化的几何表现

首先看下简单的矩阵，这是一个对角矩阵
$M = (3001)$
我们先用这个对角矩阵乘以一个点来看看它的几何变化。
$(3001) * (x y) = (3 x y)$
在几何上就相当于把原来的向量x轴方向拉伸成了原来的3倍
–》

再来看下对称矩阵

$M = (2112)$
利用对称矩阵乘以一个点来看看它的几何变化

-》
这并不能清晰的显示出发生了如何的几何变换。我们能够把整个坐标轴逆时针旋转45度来更好的发现规律。
-》
从上图能够看出原来的红色部分。沿着一个方向被拉伸了3倍。

- 神秘值分解

这是神秘值分解的几何实质：对于随意的二维方阵（M）,我们都能够找到相互正交的向量（v1,v2），使得经过M变换后得到的两个向量(Mv1,Mv2)还是正交的。
-》

$v 1 和 v 2 是正交的单位向量 u 1 和 u 2 是在 M v 1 和 M v 2 方向上的单位向量 σ 1 和 σ 2 表示 v 1 和 v 2 经过 M 变换后的拉伸倍数 M v 1 = σ 1 u 1 M v 2 = σ 2 u 2$
对于随意的二维向量x
$x = (v 1 . x) v 1 + (v 2 . x) v 2 M x = (v 1 . x) M v 1 + (v 2 . x) M v 2 M x = (v 1 . x) σ 1 u 1 + (v 2 . x) σ 2 u 2 由于 v . x = v T x M x = u 1 σ 1 v T 1 x + u 2 σ 2 v T 2 x M = u 1 σ 1 v T 1 + u 2 σ 2 v T 2 M = U Σ V T U = (u 1 u 2) Σ = (σ 1 0 0 σ 2) V = (v 1 v 2)$

-那么我们怎么发现神秘值呢

我们能够对不论什么矩阵进行神秘值分解，首先我们先看下最先的样例，我们在原来的红色正方形上加上一个单位圆
-》
变化后的图形是个椭圆。我们我们能够在椭圆的最长和最短的方向上发现正交基
-》

$我们可以发现 v i 和 v j 是 M T M 的特征向量，因为 M T M 是一个对称矩阵那么不同特征值所对应的特征向量都是正交的所以 v T i v j = 0, 奇异值 σ i = | M v i | u i 是 M v i 方向上的单位向量，问题是为什么 u i 和 u j 是正交的呢？我们假设 σ i 和 σ j 是不同的奇异值 M v i = σ i u i M v j = σ j u j . (M v i) T M v j = v T i M T M v j = v T i λ v j = λ v T i v j = 0. (M v i) T M v j = (σ i u i) T σ j u j = 0 u T i u j = 0 u i 和 u j 正交所以我们发现了一系列的正交的 v i 经过 M 变换后成为 u i 。 u i u j 还是正交的$

- 另外一个样例

$M = (1212)$
利用M对v1 v2进行变换
-》

在这个样例中第二个神秘值为0,

$M = u 1 σ 1 v T 1$
M的秩是等于非0的神秘值的数目的。

- 数据压缩

神秘值分解能够有效地应用在数据表示中，如果我们来表示一个25*15的黑白像素

由于在整个图像中仅仅有3种列向量。所以我们能够来表示图像更加地高效

我们用一个25*15的矩阵来表示这个图像，1表示白色，0表示黑色

我们对M进行神秘值分解。仅仅发现了3个非0的神秘值

$σ 1 = 14.72 σ 2 = 5.22 σ 3 = 3.31 M = u 1 σ 1 v T 1 + u 2 σ 2 v T 2 + u 3 σ 3 v T 3 u i 是一个 25 维的向量 v i 是 15 维的向量我们用了非常少的数据量就把刚刚的 M 矩阵表示了$

-噪音处理

如果我们利用了一个扫描器来扫描图像。可是在扫描的过程中引入了噪声

我们对这个25*15的矩阵进行神秘值分解

$σ 1 = 14.15 σ 2 = 4.67 σ 3 = 3.00 σ 4 = 0.21 σ 5 = 0.19 . . . σ 15 = 0.05 M 近似表示为 M = u 1 σ 1 v T 1 + u 2 σ 2 v T 2 + u 3 σ 3 v T 3$
查看全文

相关阅读:
VituralBox 虚拟机网路设置主机无线
 布局
 Git 安装
 剑指offer——33分行从上到下打印二叉树
 剑指offer——32从上到下打印二叉树
 剑指offer——31序列化二叉树
 剑指offer——30栈的压入、弹出序列
 剑指offer——30包含min函数的栈
 剑指offer——29顺时针打印矩阵
 剑指offer——28对称的二叉树

原文地址：https://www.cnblogs.com/yjbjingcha/p/8277067.html

Copyright © 2011-2022 走看看