相似性和相异性（区别性，不同性）
相似性就是两个数据个体间的相似程度嘛，相异性就是相对的概念咯。相异性也就是距离，如果我们把数据个体看做是向量，那么相异性就是两个向量间的距离了。
相似性与相异性的转换
相似性和相异性通常都用区间[0,1]内的数值来表示。这两种值是负相关的，因此理论上任意单调递减的函数都可以用来进行两种值的转换。比如定义s为相似性的值，d为相异性的值，辣么s=1-d,d=1-s就是一种合理的转换。
简单属性值之间的相似性与相异性
对于nominal类型而言，唯一能做的就是比较看两个值是否相同了，那么可以定义相似性为s=1,if 两个值相同,否则s=0。相异性的取值反之。对于ordinal，可以把取值符号都映射成数字，比如{1,2,3,4,5}，那么可以定义相异性d为两个取值的差，或者差再除以最大取值与最小取值的差。注意这里假设了相等的间距，这个假设可能不太合理。对于interval和ratio类型的属性而言，可以用差的绝对值来定义相异性。
数据个体间的相异性
数据个体的相异性可以简单定义为两个数据个体所表示向量的距离，比如可以用欧氏距离来衡量：
事实上，欧氏距离是Minkowski距离的一种情况。
Minkowski Distance: 
对于上式，当r=1时就是曼哈顿距离了，当r=2就是欧氏距离(即L2 norm), 当r=无穷大时就是Lmax norm。
距离有以下一些属性。
1.Positivity
当x=y时
2.对称性
3.三角形定理
三角形定理可以用来加速某些依赖于距离度量的操作。注意有很多相异性是不满足以上某些式子的。
数据个体间的相似性
对Binary数据的距离的衡量。
Simple Matching Coefficient（SMC）
SMC=取值相同的属性数/总属性数
SMC不适用于非对称的数据，Jaccard Coefficient比较适合，因为它忽略了零值的匹配。
J=取值相同且非零的属性数/总属性数
余弦相似性，类似于Jaccard，忽略了零值的匹配，比较适合处理非对称数据。同时，余弦忽略了magnitude的影响，通过正规化得到只与方向有关的一个度量。
杠杠x,杠杠y,即两个向量的点积除以两个长度(L2 norm)
还有一种Jaccard Coefficient的扩展，可以用来计算非Binary的向量的相似性：
最后提一个相关系数（Correlation），这是一个衡量两个数据个体的线性相关性的量。常用的是Pearson's Correlation。
,这里cov是协方差，std是标准差
...
相似性相异性相关问题
如何处理不同Scale的变量---标准化
如何处理属性间具有相关性的数据---马氏距离(Mahalanobis Distance)
如何处理不同类型的属性（比如有的属性是nominal有的是interval）：
，这里的 取0或者1。当第k个属性是非对称属性，且两个数个体的对应属性去0时，或者其中一个的值缺失时,取0，否则取1。此外还可以对属性们赋予不同的权重值。
补充
独立： 
不相关： 
独立—>不相关 逆否命题： 相关—>不独立
对于均值为零的高斯随机过程而言：不相关—>独立
正交： 
当其中有一个是期望为零的随机过程时，不相关<—>正交