近期看了一些矩阵和谱聚类的知识，特在此简单记录一下。
具体能够先看下參考文献。
首先看到的是孟岩写的三篇<理解矩阵>.
一：理解矩阵(一)
1:传统书籍空间的定义：存在一个集合，在这个集合上定义某某概念，然后满足某些性质”，就能够被称为空间。孟的空间包括四点：(1). 由非常多（实际上是无穷多个）位置点组成；(2). 这些点之间存在相对的关系。(3). 能够在空间中定义长度、角度；4.这个空间能够容纳运动，这里我们所说的运动是从一个点到还有一个点的移动（变换），而不是微积分意义上的“连续”性的运动。当中第四点最为重要，容纳运动时空间的本质。
2：“空间”是容纳运动的一个对象集合，而变换则规定了相应空间的运动。
3：线性空间中的不论什么一个对象，通过选取基和坐标的办法，都能够表达为向量的形式。
4：在线性空间中，当你选定一组基之后，不仅能够用一个向量来描写叙述空间中的不论什么一个对象，并且能够用矩阵来描写叙述该空间中的不论什么一个运动（变换）。而使某个对象发生相应运动的方法。就是用代表那个运动的矩阵，乘以代表那个对象的向量。矩阵的本质是运动的描写叙述。
二：理解矩阵(二)
1：所谓变换，事实上就是空间里从一个点（元素/对象）到还有一个点（元素/对象）的跃迁。矩阵是线性空间里的变换的描写叙述
2：对于一个线性变换。仅仅要你选定一组基。那么就能够找到一个矩阵来描写叙述这个线性变换。换一组基，就得到一个不同的矩阵。全部这些矩阵都是这同一个线性变换的描写叙述，但又都不是线性变换本身。
3：所谓相似矩阵，就是同一个线性变换的不同的描写叙述矩阵。如同对同一对象的多个引用。
三：理解矩阵(三)
1：对象的变换等价于坐标系的变换。或者说：固定坐标系下一个对象的变换等价于固定对象所处的坐标系变换。
三篇矩阵系列让我们从直觉上再度理解了矩阵，形象深刻。第一篇能够说是初谈空间与矩阵；第二篇相当于矩阵再描写叙述；第三篇则为矩阵等价于坐标系。
四：谱聚类
在谈及谱聚类的问题时，首先须要回想一些数学知识。
1:正交矩阵。ATA=E，则A为正交矩阵。也就是A的行或者列向量为两两垂直的单位向量
2：正定矩阵。
假设对于随意向量f，都有fTMf> 0， 则称M为正定矩阵。假设为大于等于0。则为半正定矩阵。
3：拉普拉斯矩阵：Laplace矩阵为图的度矩阵-图的邻近矩阵。它也是谱理论的基础。
当中：
定义：
方阵的谱： 方阵作为线性算子，它的全部特征值的集合成为方阵的谱。
3：谱聚类最初用于解决图的切割为题，图切割的目的是类间相似性最小，类内相似性最大。它是一个NP难解问题，它能够转换为最小化图的Laplace矩阵的特征值的问题，这个能够通过公式进行证明。假设分两类的话，此时最小的特征值所相应的特征向量中大于0的归属于一类，小于0的归属于还有一类，就能够将图切割成为两部分了。
假设进行k分类，则须要得到k个最小的特征值所相应的特征向量(N×k)，每列为一个特征向量，每行代表一个样本点，此时对它进行k-means聚类，就能够将N个点聚成k类了。
4：谱聚类用于实际样本空间。仅仅需将每一个样本看做图的一个顶点。再将样本点的距离通过高斯核函数(径向基核函数)映射为相似性，每一个点与其他点相似和为度就能够进行谱聚类了。
5：长处：(1)谱聚类能在随意形状的样本空间上进行聚类。且收敛于全局最长处。而像k-means算法和EM算法是建立在凸球形的样本空间上。当样本空间不凸时，算法会陷入“局部”最优。
(2) 谱聚类仅仅须要数据之间的相似度矩阵就能够了。而不必像K-means那样要求数据必须是 N 维欧氏空间中的向量。
(3)RatioCut方法仅仅考虑了类间相似性最小。而normalizedCut不仅考虑了类间还考虑了类内的相似性。
五：谱哈希
待续.....
參考文献：
1：理解矩阵(一)http://blog.csdn.net/myan/article/details/647511
2：理解矩阵(二) http://blog.csdn.net/myan/article/details/649018
3：理解矩阵(三) http://blog.csdn.net/myan/article/details/1865397
4：july的http://blog.csdn.net/v_july_v/article/details/40738211从拉普拉斯矩阵说到谱聚类
5：机器学习中谱聚类方法的研究：http://lamda.nju.edu.cn/conf/MLA07/files/YuJ.pdf。